Google Cloud Lakehouse catalog 助力 Hive Metastore 现代化

Vinod Ramachandran

产品负责人，Lakehouse

Pratibha Suryadevara

副总裁

立即试用 Gemini Enterprise

工作中AI的前门

立即试用

十多年来，Apache Hive Metastore（HMS）一直是大数据分析的事实元数据权威。无论是在Hadoop集群上部署，还是在由MySQL或PostgreSQL支持的自管理Compute Engine虚拟机上部署，HMS提供了中央模式注册表，让Apache Spark、Presto和Hive能够查询原始的.parquet 和 .orc文件。

然而，随着企业数据架构扩展到PB级并跨越多个查询引擎（如Google Cloud托管服务Apache Spark、BigQuery和Trino），遗留的Hive Metastore往往成为关键的操作瓶颈。

在这篇博客中，我们探讨为什么遗留的Metastore在现代化的云端环境中、在智能体规模下会举步维艰，并展示我们去年推出的无服务器Google Cloud Lakehouse运行时目录如何提供帮助：它基于开源的Apache Iceberg REST目录规范构建，是一个可运行的、零数据拷贝的迁移解决方案，帮助您在几分钟内将生产中的Hive表迁移过来。

遗留Hive Metastore的挑战

在与数据工程师和基础设施负责人进行大规模生产分析时，三个核心痛点始终出现在独立的Hive Metastore上：

架构和扩展瓶颈独立的HMS部署依赖关系型数据库后端（如MySQL或Postgres）来跟踪表模式、分区和存储位置。随着数据湖增长到数十万张分区表，分区剪枝和批量列出操作成为关系型数据库的关键性能瓶颈。一个复杂的Spark任务请求分区元数据可能会使Metastore的CPU飙升到100%，导致集群范围的查询延迟或内存溢出（OOM）故障。

孤立的身份和安全治理遗留的Metastore是围绕基于边界的安全模型构建的。在现代环境中实施细粒度的数据治理——比如表级访问控制列表（ACL）——需要跨越两个不同的控制平面，同时维护分散的重复安全策略，才能同时覆盖Apache Spark计算作业和BigQuery等企业SQL引擎。

运维开销和总拥有成本（TCO）管理高可用的MySQL/Postgres实例、修补HMS守护程序、调整JDBC连接池，以及为基于实例的闲置Metastore服务器付费，给数据平台团队带来了不必要的运维负担，而他们的宝贵时间本应用于为智能体构建高杠杆的数据产品。

解决方案：Lakehouse运行时目录

为了解决这些架构瓶颈，同时不让数据工程师重写PB级的现有存储载荷，我们构建了支持Iceberg Rest目录和Hive目录的Lakehouse运行时目录。

Lakehouse运行时目录是一个完全无服务器、高可用、统一的元数据注册表，从底层设计上支持遗留的Hive/Parquet表以及现代开放表格式，如 Apache Iceberg。通过原生实现Apache Iceberg REST目录规范，，Lakehouse运行时目录将元数据发现与计算引擎解耦。这种目录与计算引擎的解耦确保了多个兼容Iceberg的引擎可以以零拷贝方式访问相同的数据，从而减少了客户维护多份数据副本的需求，并使他们的工作负载能够更快地投入生产。

这种方法提供了多项架构优势：

• 多引擎互操作性：表注册后，即可通过标准REST接口在Google Cloud托管Spark、BigQuery和开源引擎中立即被发现和查询。
• 开放API：支持Iceberg Rest目录和Hive目录，使不同团队能够在统一的数据集上使用他们偏好的分析工具。
• 零数据拷贝：表定义直接指向您存储在Google Cloud Storage中的现有数据。您无需移动、重写或复制底层数据。
• AI驱动的治理、安全和可信上下文：Lakehouse运行时目录直接与知识目录和Cloud IAM集成，允许您为智能体定义可信上下文，以及跨所有计算引擎一致应用的表级安全。此外，它支持关键的授权机制，如凭据分发。这意味着您无需直接访问底层Cloud Storage桶中的文件即可访问您的表。
• 企业级就绪、规模和降低TCO：依托Google的行星级基础设施和Spanner，使您的元数据能够随数据扩展。支持Cloud Storage双区域和多区域桶，可实现故障转移场景。同时，由于无服务器和无运维环境，以及任何工作负载规模的扩展性，它降低了TCO。

零拷贝从遗留Hive Metastore迁移的实际操作

为了演示切换的顺畅性，我们提供了一个功能，让您将遗留的自管理Hive Metastore现代化到Google Cloud Lakehouse。该功能直接连接到您的遗留Hive Metastore，提取外部表定义和分区映射，干净地注册到无服务器的Lakehouse目录中，然后即可在Google托管Spark、BigQuery和带Gemini的会话分析智能体中使用这些数据。

现代化到Lakehouse，并在关键的智能体旅程中立即利用您的数据

准备好现代化您的数据架构了吗？

从遗留的Hive Metastore现代化到Google Cloud的Lakehouse 最大限度地减少分析引擎和代理之间的数据孤岛，统一多引擎治理，为您的代理提供可信的上下文，并大幅降低运营总拥有成本（TCO）。换句话说，它有助于让您的现代云环境为代理规模的操作做好准备。

立即开始，将您的 Apache Hive Metastore 表迁移到 Google Cloud，为代理时代做好准备。详细了解 Google Cloud Lakehouse此处。

发布在

• 数据分析