← 主题地图

湖仓

Iceberg/Delta、存算分离与半结构化——架构之争的下一站

近 7 天新增 23累计 93 · 每 6 小时更新

近期进展

最近 7 天内最新的 3 条

2026-11-14 · Databricks Blog

Spark 与 Flink 选型对比:统一引擎还是流专用引擎

该文对比 Apache Spark 与 Apache Flink,认为多数团队应选 Spark:它用同一引擎覆盖批处理 ETL、SQL 分析、机器学习与流处理,Real-Time Mode 将流式端到端延迟降到毫秒级。Flink 是流原生引擎,适合专门的事件处理场景,但选它通常意味着要在 Spark 之外再运行一套引擎。文章指出延迟差距已不再是添加 Flink 的主要理由,真正的问题是要构建、运维和治理多少套引擎,并从引擎定位、延迟、批处理、语言、状态处理、复杂事件处理、ML/AI、湖仓集成等维度逐项对比。

2026-11-14 · InfoQ (AI/数据工程)

开源文档数据库DocumentDB 1.0正式GA:基于PostgreSQL兼容MongoDB协议

基于PostgreSQL、采用MIT许可证的开源文档数据库DocumentDB发布1.0正式版,兼容MongoDB线协议,多数MongoDB驱动、工具和查询无需修改即可运行。1.0支持PostgreSQL 15-18的容器镜像,并为17和18提供Linux安装包,同时包含Kubernetes Operator,重点在安全、稳定及索引、聚合、地理查询修复。项目由微软于2025年初发起,后加入Linux基金会,获AWS、Google、Snowflake、Cockroach Labs、Yugabyte等支持。

2026-11-14 · Google Cloud Data Analytics Blog

BigQuery直接导出至AlloyDB:声明式SQL实现反向ETL

Google Cloud 宣布 BigQuery 导出到 AlloyDB 正式可用(GA),数据工程团队只需一条声明式 SQL 语句即可把数据从 BigQuery 导出到 AlloyDB,不再需要复杂的 ETL 中间件。文章以巴西电力公司 Copel 为例:其智能电表遥测数据先汇入 BigQuery 的分析层,再回写 AlloyDB 支撑低延迟客服看板、移动应用和计费系统;原先用 Airflow DAG 加 GCS 上零散 CSV 文件再加临时表的多阶段架构,存在中断风险和性能瓶颈。

入门阅读

精选长期内容,最多 3 篇

全部动态

按发布时间倒序

Spark 与 Flink 选型对比:统一引擎还是流专用引擎 Databricks Blog 开源文档数据库DocumentDB 1.0正式GA:基于PostgreSQL兼容MongoDB协议 InfoQ (AI/数据工程) BigQuery直接导出至AlloyDB:声明式SQL实现反向ETL Google Cloud Data Analytics Blog AWS Glue 6.0 实测:原生 Arrow UDF 优化 PySpark 性能 AWS Big Data Blog Amazon Redshift 支持 Iceberg 表多语句事务 AWS Big Data Blog 用Amazon Bedrock AgentCore构建自愈ETL管道 AWS Big Data Blog AWS上Apache Iceberg表流式写入路径选型指南 · 正文待核验 AWS Big Data Blog ClickHouse Cloud 推出自助式预览功能页 ClickHouse Blog Google 获评 Gartner 首份湖仓平台魔力象限领导者 Google Cloud Data Analytics Blog Databricks详解LTAP架构:驳斥四大常见误解 Databricks Blog Constellation在Databricks上构建受治理的企业数据平台 Databricks Blog Eclipse Aerospace用Databricks简化飞行数据接入 Databricks Blog Databricks Genie Migrate 正式可用,助力轻松迁移至湖仓 · 正文待核验 Databricks Blog Leeroo开源Kapso:从企业数据中迭代学习的引擎 Hacker News(数据关键词) H6.ai 如何用 Lakebase Postgres 构建 AI 财务自动化 Databricks Blog Lakehouse//RT:AI Agent 时代的实时分析如何避免成本随查询量暴涨 Databricks Blog 从Apache Hudi迁移到Apache Iceberg的实践指南 AWS Big Data Blog 气隙隔离不阻数据:Bright Machines如何安全向客户开放工厂实时看板 Databricks Blog AWS 上为 Agentic AI 构建数据基础:从湖仓到 MCP · 正文待核验 AWS Big Data Blog 用 Terraform 在 SageMaker Unified Studio 搭建多团队 AI 与分析环境 AWS Big Data Blog Samsung Ads如何用Cognito联邦Snowflake Iceberg表 AWS Big Data Blog Intuit 将 Hive Metastore 迁移至 AWS Glue Data Catalog 实践 AWS Big Data Blog ClickHouse 接入 Amazon S3 Tables,实现湖仓就地分析与回写 ClickHouse Blog BigQuery 推出 AI.AGG:用单条 SQL 对百万行数据做语义聚合 Google Cloud Data Analytics Blog AI改变数据接口,而非查询引擎 InfoQ (AI/数据工程) 在Databricks上高效运行dbt的实践指南 Databricks Blog Atlassian 基于 Databricks 构建 OCSF 安全湖仓 Databricks Blog Ridgeline 用 Iceberg+ClickHouse 统一投资管理分析层 ClickHouse Blog 2026实时分析实践指南:用湖仓统一实时分析 Databricks Blog OLTP vs. OLAP:事务型与分析型数据库选型 Databricks Blog Iceberg 表内部长什么样?用 DuckDB 逐层探查 DuckDB Engineering Blog 何时使用 Liquid Clustering?湖仓布局策略基准测试 InfoQ (AI/数据工程) 不含数据的 DuckDB 数据库:远程 Parquet 视图目录 · 正文待核验 DuckDB Engineering Blog Fivetran、dbt与Databricks Lakeflow如何协同 Fivetran Blog 如何将 dbt ETL 管道迁移到 Databricks Databricks Blog 湖仓能否取代数仓:2026基准与实证 Databricks Blog AWS Glue 上使用 DuckDB 与 S3 Tables 的高性价比 ETL AWS Big Data Blog IFCO 在 Databricks 扩展大型 dbt 项目:性能、可见性与调试 Databricks Blog 通过 REGISTER/UNREGISTER API 防止目录锁定 Databricks Blog Snowflake原生表迁移Iceberg:决策与权衡(上) · 正文待核验 Snowflake Engineering (Medium) Databricks 实时推荐:Lakebase 与 AI Search Databricks Blog Snowflake 经单一私有端点访问 Azure 存储账户 · 正文待核验 Snowflake Engineering (Medium) 2026指南:Unity Catalog托管表存储规则 Databricks Blog Redshift Iceberg 写入支持 Part 3:模式与分区演进 AWS Big Data Blog Plaid 从 Aurora 迁移到分布式 SQL 的零停机实践 · 正文待核验 TiDB Blog Fivetran 与 Airbyte 对比:功能、定价与关键差异 Fivetran Blog 从Kafka依赖到直连接入:Snowpipe Streaming Elastic Channels生产实践 · 正文待核验 Snowflake Engineering (Medium) Snowflake托管Iceberg表的事件驱动Glue Catalog注册方案 · 正文待核验 Snowflake Engineering (Medium) Lakebase与TiDB X:AI需求下的数据库架构 · 正文待核验 TiDB Blog Concurrence 用 Unity Gateway 治理万亿级临床 AI Databricks Blog 用Databricks系统表查询理解成本的Top 5 · 正文待核验 Databricks Blog 从Cassandra到Snowflake:NoSQL数据集成蓝图 · 正文待核验 Snowflake Engineering (Medium) Snowflake PERIOD 数据类型:用原生时间范围查询生效记录 · 正文待核验 Snowflake Engineering (Medium) 蚂蚁Altum大模型训练数据处理系统设计与实践 InfoQ 中文 DuckDB-Wasm 结合 OPFS 实现浏览器持久化数据库 DuckDB Engineering Blog 为 AI Agent 选择数据库的 5 项评估标准 Databricks Blog Snowflake实时分析:可复现的亚秒级延迟基准测试 · 正文待核验 Snowflake Engineering (Medium) 美联航用Redshift联邦查询Databricks数据 · 正文待核验 AWS Big Data Blog 用 Iceberg 物化视图加速 Spark 查询 AWS Big Data Blog 开放湖仓中跨引擎与目录的统一治理 Databricks Blog AWS助力Sony LIV构建实时视频流分析 AWS Big Data Blog 40年数据库规则被Agent打破:LTAP统一OLTP与OLAP负载 Databricks Blog S3到GPU一次拷贝:Vortex重新定义ML训练数据加载 InfoQ (AI/数据工程) Moovit通过架构现代化实现33%成本优化 AWS Big Data Blog 使用Iceberg REST端点从Amazon EMR Trino查询S3 Tables AWS Big Data Blog 在Amazon SageMaker用Iceberg物化视图构建Medallion架构 AWS Big Data Blog 用Apache Iceberg和Flink构建动态流式数据湖 AWS Big Data Blog Fivetran:开放数据基础设施加速工作流的六种方式 Fivetran Blog Snowflake Postgres:从OLTP到分析的无ETL实战指南 · 正文待核验 Snowflake Engineering (Medium) Indra在Databricks上统一EV充电数据 Databricks Blog Razor Group在AWS上构建现代数据湖仓实践 AWS Big Data Blog AWS Glue 6.0支持Iceberg v3地理空间与变体类型 AWS Big Data Blog 对象存储+WAL:面向智能体时代的Lakebase Postgres Databricks Blog 超越偏移滞后:PB级Apache Hudi数据湖管道的队列时间计算 InfoQ (AI/数据工程) 跨云分析:使用IAM将BigQuery连接到Amazon S3 Tables AWS Big Data Blog 数据网格vs数据结构:湖仓如何化解架构之争 Databricks Blog 开放表格式解析:Iceberg vs. Delta vs. Hudi Databricks Blog 关系型与非关系型数据库选型指南 Databricks Blog dbt on Snowflake实践:把编排搬进数仓后真正的问题 · 正文待核验 Snowflake Engineering (Medium) 破解SQL迁移迷思:新SQL特性让存储过程平迁湖仓更轻松 Databricks Blog Iceberg Catalog层选型指南:Horizon、Polaris、Glue与Nessie对比 · 正文待核验 Snowflake Engineering (Medium) Google Cloud Lakehouse catalog 助力 Hive Metastore 现代化 Google Cloud Data Analytics Blog talabat构建跨AWS与Google Cloud的近实时分析架构 AWS Big Data Blog Fivetran谈数据目的地:决定数据架构成败的5个要点 Fivetran Blog Amtrak 构建铁路智能平台,用 Databricks 统一数据骨干 · 正文待核验 Databricks Blog 加拿大大型铁路用Databricks Genie Code将管道创建自动化率提至90% Databricks Blog Spotify为数据湖构建外部索引实现低延迟点查询 InfoQ (AI/数据工程) Apache Iceberg Variant类型:半结构化数据新解法 Apache Iceberg Blog Agentic AI 架构为何需要数据库,不只是向量存储 · 正文待核验 TiDB Blog 开放数据基础设施需用上下文工程统一数据用例 Fivetran Blog SageMaker Unified Studio与Lake Formation实现湖仓细粒度访问控制 AWS Big Data Blog DuckDB引入异步I/O,适应云端远程数据读取 DuckDB Blog Google Cloud 把数据技能带进 IDE 和 CLI Google Cloud
涉及 55 个厂商 展开查看
AWSAWS GlueAWS Lake FormationAirbyteAlloyDBAmazon AthenaAmazon AuroraAmazon BedrockAmazon EMRAmazon RedshiftAmazon S3 TablesAmazon SageMakerApache AirflowApache DruidApache FlinkApache IcebergApache PaimonApache PinotApache PolarisApache SparkAtlassianAzureBigQueryClickHouseClouderaCockroach LabsDataStaxDatabricksDebeziumDremioDuckDBFivetranGartnerGoogleGoogle BigQueryGoogle CloudH6.aiIntuitLakebaseLakekeeperLeerooMicrosoftNeonPingCAPPlaidPostgresRedshiftSnowflakeSpiralDBTableauTiDBTrinodbtdbt Labs蚂蚁集团