谷歌云 Borderless Lakehouse 原生集成 Gemini

Gaurav Saxena

产品管理总监

Ahmet Altay

工程总监

11月4日：代理式数据云活动

与我们的产品负责人一起构建您的代理式未来

注册

随着企业将其AI使用从实验性聊天机器人转向自主代理，各团队正遭遇一个关键瓶颈：访问并推理分散在多个云、SaaS平台和本地系统中的数据。要将AI代理转变为真正的行动系统，组织需要一个能够处理PB级推理、同时避免数据移动安全风险的基础。上周，在我们的 Gemini at Work 活动上，我们宣布了Gemini如何帮助您转变业务工作流程。为了用您的企业数据为您的代理提供动力，我们将深入探讨Gemini与无边界Lakehouse的新集成，以帮助您构建、保护和扩展可在您的数据资产中工作的代理。

通过Gemini访问位于Google Cloud之外的数据

无边界Lakehouse的终极价值通过您为转变组织而构建的代理得以实现，而Gemini则是前门。借助新的Gemini集成，无论是预配置的还是存储在您的无边界Lakehouse中的数据，现在都直接集成到Gemini中。目前处于预览阶段，这意味着您可以直接从Gemini通过Lakehouse目录联合设置对新数据源的访问，例如Databricks Unity Catalog或Snowflake Horizon。

现在，您的业务用户可以使用自然语言查询跨云存储的记录，而您的AI代理可以从同一数据中为其推理提供依据并生成代码——所有这些都无需移动数据。通过直接为您的无边界Lakehouse中的AI代理提供上下文，您可以帮助加速组织的AI采用，同时简化对关键信息的访问。

由业务用户调用的Gemini代理可以访问位于BigQuery和Databricks Unity Catalog中的数据，以提供全面的报告，并使用自然语言获取洞察。

无边界Lakehouse的进展

除了这项与Gemini的全新原生集成之外，我们还分享，今年早些时候我们推出以无边界Lakehouse为您的数据基础提供支持的若干功能现已正式可用，包括：

• 支持Cross-Cloud Interconnect以及针对AWS和Azure的跨云缓存
• BigQuery支持Apache Iceberg V3规范
• BigQuery和Managed Service for Apache Spark对Apache Iceberg表的读写互操作性
• 使用Lakehouse运行时联合与AWS Glue、Databricks Unity Catalog和Snowflake Horizon Catalog进行双向缓存
• 与Knowledge Catalog集成
• 与Salesforce、SAP和Workday，以及现在的Confluent Tableflow进行零拷贝数据集成
• 通过Lakehouse控制台使用Dataflow同步Databricks Delta Lake资产

让我们来探索。

PB级规模的性能与推理

虽然代理上下文窗口通常一次只能摄取数百KB，但企业工作流有时会跨云连接PB级数据。一个代理原生数据平台若需要将跨源数据（如产品和客户数据）与您的CRM云和仓库遥测数据结合起来，就必须能够大规模处理数据。当您通过MCP执行此操作时，由于上下文窗口和负载大小限制，您只能达到MB级规模。通过在数据和AI堆栈的每一层进行集成，无边界Lakehouse提供企业级可扩展性，使代理能够以类似数据存储在本地时的性能推理PB级数据。

在网络层， Cross-Cloud Interconnect 和 跨云缓存 提供通往AWS和Azure的高吞吐量、低延迟路径，消除可变出口费用。当代理连接Amazon Azure Data Lake Storage中的Iceberg表与BigQuery中的数据时，它扫描的每个未缓存字节都会跨越云边界，因此网络决定了节奏。Cross-Cloud Interconnect为Lakehouse提供Google Cloud与AWS或Azure之间的专用私有连接，每条连接为10 Gbps或100 Gbps。Lakehouse查询通过该连接而非公共互联网传输，因此延迟保持低且可预测。跨云缓存从Google Cloud内部提供重复读取，因此代理可以查询其他云中的数据而无需迁移。

无边界Lakehouse包含多项关键优化，以将Iceberg元数据集成到查询引擎中。BigQuery现在支持 Apache Iceberg V3规范， 包括二进制删除向量和排序顺序。这些功能使引擎能够通过消除重写整个数据文件的需要，更高效地处理行级更新和删除。我们还升级了BigQuery的执行引擎，采用新的基于FlatBuffers的Parquet读取器和并行I/O，以帮助降低CPU开销和序列化瓶颈，并缩小开放格式与原生存储之间的性能差距。

这建立在近期查询引擎性能创新的基础上，这些创新旨在支持代理工作负载，此类负载通常成群出现，需要快速且经济高效地处理小查询。借助 BigQuery流体扩展和基于历史的优化，您可以运行可扩展且高效的代理工作负载，同时通过Apache Iceberg保持开放性。

与此同时，以下两者的Apache Iceberg表读写互操作性，包括 BigQuery 和 Managed Service for Apache Spark，使您的所有数据团队都能轻松基于Google Cloud Storage中的相同Iceberg表开展工作。这一垂直优化的堆栈利用BigQuery和 Lightning Engine 的强大能力，在不移动数据的情况下激活数据，帮助您的代理更快、更具成本效益。为了扩展湖仓的分析深度，BigQuery中对Iceberg的图支持让您可以直接在开放表数据集上分析关系网络，例如供应链。

为你的智能体提供全面的上下文和数据访问能力

AI 智能体的智能程度取决于它所能访问的上下文。为了帮助防止幻觉并在元数据层提高准确性，无边界 Lakehouse 使用以下组件统一你的企业数据：Lakehouse 运行时目录。它基于 Apache Iceberg REST Catalog，提供与 AWS Glue、Databricks Unity Catalog 和 Snowflake Horizon Catalog 的双向目录联合。Lakehouse 运行时目录还包含一个新的兼容 Hive Metastore 的标准端点，使 Apache Spark、Trino 和 Presto 等引擎无需架构变更即可发现元数据。

无边界 Lakehouse 还直接与Knowledge Catalog集成，后者会自动索引你分布式的数据资产，以提供智能体所需的精确业务元数据和语义定义，使其能够对整个企业语料库（包括 Cloud Storage 中的非结构化数据）进行推理。这为智能体提供了恰到好处的上下文以保持准确性，同时控制 token 成本，帮助你制定智能且可持续的智能体战略。

无边界 Lakehouse 提供与 Salesforce、SAP 和 Workday 等 SaaS 应用程序的零拷贝数据集成，并与更大的合作伙伴生态系统集成，将企业数据捕获到 Knowledge Catalog 中，并充当智能体的单一上下文引擎。今天，我们正在扩展合作伙伴生态系统，新增对 Confluent Tableflow 的集成，该集成现已全面可用，它会同步到 Lakehouse 运行时目录，因此其生成的 Iceberg 表会直接显示在 BigQuery 中，无需复制，也无需额外的 ETL。

最后，使用以 Databricks 为中心的数据仓库的组织现在可以通过以下方式轻松地将其 Delta Lake 资产导入、转换并同步到 Lakehouse：Lakehouse 控制台使用 Dataflow。

轻松实现现代化

自 2025 年初以来，客户对 Apache Iceberg 的使用量增长了两倍多，使用 Google Cloud 无边界 Lakehouse 构建的企业正从中获得显著成效：

• Etsy使用无边界 Lakehouse 统一了三 PB 的数据，就地连接数据，使管道查询速度提升了 60%。
• Commerzbank将原始的分布式数据转化为受治理、可供智能体使用的访问方式。
• Hightouch直接与无边界 Lakehouse 集成，使团队能够直接在开放的 Iceberg lakehouse 上驱动其营销，并在整个 Google Cloud 生态系统中激活这些数据。
• Roundel使用无边界 Lakehouse 从零开始对其 Target Product Ads 技术栈进行了现代化改造，彻底重建了其数据摄取、处理和衡量管道。

如果你已准备好为你的组织开始向无边界 Lakehouse 过渡，这并不需要很困难。对于目前使用旧版 Dataproc Metastore 的组织，我们现在提供一条自动化、零停机的迁移路径，可迁移到无服务器 Lakehouse 运行时目录。这会在解锁无边界 Lakehouse 的 AI 就绪功能的同时，保留你现有的架构和血缘关系，因此你可以停止管理基础设施，开始激活智能体。

立即开始使用构建无边界 Lakehouse codelab或访问我们的网站以了解更多信息。

发布于

• 数据分析