通过 REGISTER/UNREGISTER API 防止目录锁定

随着组织采用湖仓一体架构，数据正从专有数据仓库转向开放存储和表格式，在这些格式中，数据可以被 Spark 和 Trino 等多个引擎访问，而无需复制。

然而，开放格式只是开放方程式的一部分。真正的开放还要求在数据管理和治理方式上具备互操作性和灵活性。要让湖仓一体完全兑现其承诺，组织需要能够随着架构演进自由选择和迁移目录。

为支持这种可移植性，REGISTER 和 UNREGISTER 端点使用户能够在目录之间移交表，而无需重写、导出或复制任何一个文件。REGISTER 将现有表挂载到任意 IRC 目录。迁移表时，你不能只是从旧目录中 DROP 它，因为那会清理掉其底层数据和元数据。我们向 Apache Iceberg™ REST 目录规范中添加了 UNREGISTER 端点，这样你就可以告诉旧目录忘掉该表，并返回下一个目录接管所需的准确指针。

在本文中，我们将深入探讨开放表格式生态系统正在如何演进、这些新增功能所解决的关键挑战，以及 REGISTER 和新的 UNREGISTER 命令实际上是如何工作的。

背景：目录的角色

当引擎查询表时，它首先请求目录加载该表，以确保获取最新状态。目录返回表的当前元数据，包括表数据在对象存储中的位置。随后，引擎使用该元数据找到模式，并直接从对象存储中读取 Parquet。

这种协调对开放表格式至关重要，因为所有重要元数据——模式、历史、统计信息——以及数据本身都存储在存储中，与计算完全解耦。通过充当最新状态的中央权威，目录协调提交，并确保两个写入者永远不会悄无声息地相互覆盖。

图 1：读取路径

1. 引擎请求目录加载该表。
2. 目录返回表的当前元数据及其在对象存储中的位置。
3. 引擎直接从你的存储桶中读取元数据文件和数据文件。

REGISTER 端点如何工作

将现有表挂载到目录，不过是从加载表时获得的元数据位置进行移交。这正是 REGISTER 通过 Iceberg REST 规范中已定义的端点所做的事情。

图 2：REGISTER 操作

• 客户端发送 POST 请求，包含所需的表名及其现有元数据位置的 URI。
• 经过基本验证后，目录写入一条记录，将表名链接到现有的 metadata.json。不会复制、移动或更改任何数据文件。

问题在于，仅使用 REGISTER 会造成“脑裂”场景：两个目录都认为自己拥有该表并会协调提交。由于 Iceberg 目录彼此独立且不通信，仅使用 REGISTER 会向新目录添加一个条目，同时让旧目录完全保持活跃。如果两个目录都认为自己是该表的唯一所有者，二者都不会抛出错误，但第一次写入操作会分叉该表，导致查询结果不一致和静默数据丢失。

图 3：脑裂场景

• 通过目录 A 进行的写入对于目录 B 将完全不可见，从而永久破坏你的单一事实来源。

缺失的一环是 UNREGISTER

从历史上看，生态系统中缺乏一种标准方式来干净地终止目录对表的管理。运行 DROP TABLE 行不通，因为它会删除表的数据和元数据！没有 UNREGISTER，REGISTER 的移交方程式就缺少了后半部分。我们向 Apache Iceberg™ REST 目录规范贡献了 UNREGISTER，以便在不触碰任何底层数据文件的情况下，从管理目录中移除该表的条目。

至关重要的是，它返回该表的最新元数据位置——下一个目录承担提交协调所需的准确指针。通过确保原目录明确放弃控制，这消除了脑裂场景的风险。

请求是对表资源的空 POST：

POST <uc-iceberg-rest-base>/v1/{prefix}/namespaces/{namespace}/tables/{table}/unregister

响应是下一个目录所需的指针：

图 4：移交过程

1. UNREGISTER 从目录 A 中移除该表的条目（文件保持原样不动）。
2. 响应返回该表的最新元数据位置。
3. 目录 B 使用 REGISTER 端点接收该指针。目录 B 现在成为该表的唯一管理目录。

通过结合这三个步骤——注销、接收位置和注册——移交过程确保该表在任何时刻都恰好有一个管理目录。（注意：生产环境迁移仍涉及运维步骤，例如安全停止写入者并重新指向作业，我们将在后续文章中介绍。）

开始使用

借助 REGISTER 和 UNREGISTER，你现在可以自由地将表迁移到其他目录。我们添加此能力，是因为开源可移植性对我们的客户至关重要。Unity Catalog 仍然是管理数据的最开放湖仓一体平台，提供智能体时代所需的统一治理。它为你的本体提供上下文层，跨数据和智能体提供一流的访问控制与可观测性，并跨云、区域和计算提供灵活性。

要在 Unity Catalog 上以私密预览试用 REGISTER 和 UNREGISTER，请联系你的客户团队。