Google Data Cloud 更新:BigQuery有状态流处理与Iceberg托管表预览
DataHot 速览
Google Cloud 发布多项数据平台更新:BigQuery 连续查询预览版支持有状态处理,可在流式查询中使用 JOIN、聚合和窗口函数,为下游应用和 AI Agent 提供实时信号。Managed Service for Kafka 的合成数据生成工具正式可用,可在3次点击、不到2分钟内向集群发送模拟数据。Dataflow 流水线更新新增 stop-and-replace 和排空超时设置,已正式可用。Lakehouse 的 Apache Iceberg 托管表也进入预览,支持多引擎并发读写和统一表格式。
为什么值得关注:Google 数据平台多个核心组件同时更新,涉及实时流处理能力与湖仓表格式演进,是数据平台从业者值得跟踪的最新进展。
本文目录 15 节
译文
AI 逐段翻译8月31日至9月4日
- BigQuery连续查询中的有状态处理现已预览 有状态操作显著扩展了BigQuery连续查询的功能。此功能允许用户直接在流式查询中使用
JOIN、聚合和窗口函数。现在您可以随时间计算指标(例如,30分钟平均值),为下游应用程序和AI代理提供更丰富的实时信号。请在此试用该功能,并通过[email protected]分享您的反馈! - 适用于托管Kafka服务的合成数据生成器工具现已可用您已经启动了第一个Kafka集群。接下来做什么?下一步是向集群生成一些数据,但这涉及修改某个客户端应用程序或启动虚拟机。合成数据生成器工具现已全面可用,只需3次点击即可向您的集群发送模拟数据,并在不到两分钟内将数据流式传输到集群中。当您只想测试集群和新功能时,这是完美的实用工具。立即尝试我们的快速入门!
- Dataflow管道更新更快更灵活Dataflow管道更新 现在可以停止并替换管道,这是对现有就地更新功能的重大补充。新的并行管道选项加速了新旧管道之间的迁移,从而减少对您的业务的中断。您还可以设置排水超时,防止管道在处理卡住时产生失控成本。此功能现已全面可用。请在此试用!
7月6日至7月10日
- 新的湖仓一体托管表现在提供预览版Apache Iceberg的湖仓一体表现在处于预览阶段,并可在控制台中使用。通过在湖仓一体中使用Google管理的Apache Iceberg表,您可以消除维护重复数据管道以及BigQuery与开源引擎之间复杂同步逻辑的开销。这种统一的表格式提供原生的多引擎读写互操作性,使您能够在统一的共享存储层上跨不同分析工具运行并发DML/DDL操作。内置的自动表管理处理压缩和分区调整等繁琐的后台优化任务,让您的团队专注于构建而不是管理存储维护。
6月1日至6月5日
- 超越查询:使用Bigtable、Firestore和Memorystore为AI代理提供动力发现Google Cloud NoSQL数据库产品组合的最新进展,包括Bigtable、Firestore和Memorystore。本系列面向广泛的受众:无论您是第一次探索这些数据库,还是希望利用Next '26上宣布的新功能的现有用户。立即注册以确保您的席位!
- 云工程师AI工具包工作坊:使用BigQuery、AlloyDB、Gemini等解决数据驱动挑战。由Google Cloud Labs主持,这项高度技术性的活动专为平台工程师、SRE和云基础设施团队设计,准备弥合AI原型与生产级部署之间的差距。敬请关注更多地点即将公布。多伦多 - 6月25日(数据云) | 在此回复 芝加哥 - 6月30日(数据云) | 在此回复
- 开始10天的Bigtable免费试用,包含1节点SSD集群和高达500GB的存储容量。无需信用卡即可开始,您可以轻松摄取工作负载并管理需要低延迟、高吞吐量和可预测访问的工作负载。此外,新的Google Cloud客户在注册时可获得300美元的免费积分。
5月11日至5月15日
- 用于Apache Airflow的托管服务推出了一系列新功能,包括Airflow 3.1的全面可用性、AI驱动的代理式故障排除、用于自定义代理集成的新托管Airflow MCP服务器,以及基于声明式YAML的编排管道——在完整博客文章中了解所有细节。
4月20日至4月24日
- Google构建的BigQuery ODBC驱动程序现已在预览版中提供我们很高兴地宣布推出新的由Google构建的BigQuery ODBC驱动程序。这个新的开源驱动程序为应用程序提供了直接、高性能的BigQuery连接,完全由Google内部开发。下载新驱动程序并将您的应用程序连接到BigQuery。
4月13日至4月17日
- 我们宣布我们将重新引入Data Studio,以在AI时代发挥重要作用,从数据可视化和报告扩展到托管BigQuery对话式代理以及Colab笔记本中构建的数据应用。
- 我们宣布BigQuery Graph现已提供预览版,提供易于使用、高度可扩展的图分析解决方案,使数据专业人员能够以全新方式建模、分析和可视化大规模关系。
4月6日至4月10日
- 我们推出了适用于Looker嵌入式环境的对话式分析,使用户能够在其自定义数据驱动应用程序中添加由Gemini驱动的自然语言体验。
- 我们扩展了Looker的功能以进行更快的临时分析,通过引入自助式Explores,使您能够将自己的数据带到Looker的语义层,并在受治理的数据环境中即时访问洞察。
3月23日至3月27日
- 我们向您展示了如何使用Cloud SQL自动扩缩读取池扩展您的读取。此功能允许您预配置多个只读副本,这些副本可通过单个读取端点访问,并根据实时应用需求动态调整读取能力。
- 我们的客户正在充分利用对话式分析和Looker的全部力量,在AI时代推动重大的业务和技术突破。像Telenor、Pet Circle、Fluent Commerce、Lighthouse Intelligence、Wego和ROLLER等公司正在将数据转化为洞察和行动,以Looker的语义层为基础。
3月16日至3月20日
- 我们推出了BigQuery Studio中增强的Gemini助手,将智能体从代码助手转变为完全具备上下文感知能力的分析合作伙伴。
2月23日至2月27日
- 我们推出了Google Cloud数据库的托管和远程MCP支持,包括AlloyDB、Spanner、Cloud SQL、Bigtable和Firestore,为下一代智能体提供支持。这一公告扩展了AI模型规划、构建和解决复杂问题的能力,将其连接到客户日常工作环境中作为支柱的数据库工具。
- 我们概述了如何使用Conversational Analytics API在BigQuery中构建会话式智能体,以帮助您构建能够理解自然语言、查询BigQuery数据并以文本、表格和可视化图表形式提供答案的上下文感知智能体。
2月16日至2月20日
- 我们的客户正在充分利用Looker的全部功能来推动重大业务和技术突破。诸如Arrive、Audika、Carousell、Framebridge、GumGum、Intel、Overdose Digital、Ocean Network Express、Subskribe和Promevo正在利用Looker最新的AI驱动功能(包括Conversational Analytics)将数据转化为洞察和行动,并通过Looker的语义层为整个组织提供单一事实来源。
2月2日至2月6日
- 欢迎参加我们于3月4日举办的网络研讨会“使用Cloud SQL Enterprise Plus赢得您的AI战略”,了解如何以3倍更高的性能和99.99%的可用性为您的生成式AI工作负载提供动力。立即注册,了解如何为最严苛的AI应用构建可扩展的企业级基础。
1月26日至1月30日
- 我们推出了BigQuery中的Conversational Analytics,允许用户使用自然语言分析数据。BigQuery中的会话式分析是一个智能代理,它直接在BigQuery Studio中生成、执行和可视化基于业务上下文的答案,使数据专业人员的数据洞察更加对话化。
- 我们概述了数据产品如何成为AI代理的基础,为自主代理提供所需的上下文,使其在真实业务使用中可靠可信,并由有组织的业务逻辑和语义理解提供支持。
- 我们重点介绍了如何加速数据分析工作流程,并概述了Google Cloud针对数据工程、数据科学和开发工具的AI代理产品,以便您将代理工作流集成到应用程序中,赋能团队并加速发现。
1月19日至1月23日
- 我们从根本上重新构想了Firestore企业版中的管道操作。体验一个强大的新引擎,拥有超过一百个新的查询功能、无索引查询、新索引类型和可观测性工具,以提高查询性能。使用内置工具无缝迁移,并利用Firestore现有的差异化无服务器基础、几乎无限的扩展能力和业界领先的SLA。加入60万开发者的社区,打造富有表现力的应用程序,最大限度地发挥丰富查询能力、实时监听查询、强大的离线缓存和尖端的AI辅助编码集成的优势。
- 在MSSQLTips上介绍Google Cloud SQL:我们重点介绍在MSSQLTips上发布的一份名为“Introducing Google Cloud SQL”的新技术指南。这篇文章是SQL Server管理员和开发人员探索Google Cloud完全托管数据库服务的重要资源。它提供了Cloud SQL功能的详细概述,包括高可用性、安全集成以及本地SQL Server工作负载向云的无缝过渡,使其成为计划迁移策略的理想资源。
- 我们很高兴地宣布Microsoft Entra ID公共预览版(原Azure Active Directory)与Cloud SQL for SQL Server的集成。该集成旨在应对多云环境中身份蔓延的挑战,允许组织使用其现有的Microsoft身份基础设施来管理数据库访问。主要优势包括集中式身份管理、多因素身份验证(MFA)等增强安全功能,以及通过直接组映射简化用户管理。此功能适用于SQL Server 2022,并支持公有和私有IP配置。
1月12日至1月16日
- Google构建的BigQuery JDBC驱动程序现已在预览版中提供我们很高兴地宣布推出由Google构建的全新BigQuery JDBC驱动程序。这个新的开源驱动程序为Java应用程序提供了直接、高性能的BigQuery连接,完全由Google内部开发。下载新的驱动并将Java应用程序连接到BigQuery。
- 使用Gemini Cloud Assist调查即时排查Airflow任务问题:Cloud Composer变得更加智能。我们很高兴地宣布,Gemini Cloud Assist调查现可直接在Cloud Composer 3中使用。您无需手动筛选原始日志,只需点击失败Airflow任务上的“调查”即可。Gemini会分析日志和任务元数据,识别出资源耗尽或超时等失败模式,并提供由Gemini Cloud Assist驱动的可操作建议来解决问题。这种集成将调试体验从手动操作转变为自动化根因分析,大幅缩短恢复管道所需的时间。了解有关AI辅助故障排除的更多信息。
这篇内容对你有用吗?
反馈只用于改善内容筛选,不等同于收藏
可选原因
可选原因