Fivetran托管数据湖写入凭证正式可用

Fivetran Managed Data Lake 的现有用户都知道，将存储与计算解耦会带来诸多好处，从降低摄取成本，到作为开放数据基础设施的基础。使用 Fivetran 的750+ 连接器将数据摄取到托管数据湖中，相比经典数据湖和云数据仓库原生存储具有许多优势：

• ACID 合规性确保数据完整性，同时兼具数据湖的规模和灵活性
• 降低摄取成本——因为 Fivetran 支付数据传输费用
• 数据落在诸如 AWS S3、Azure Data Lake 和 Google Cloud Storage 这样的商品化存储桶中，意味着客户保留所有权和控制权
• 数据以开放的 Apache Iceberg™ 表格式存储，为数据访问和互操作性提供未来保障
• 数据可由多种计算引擎查询，包括 Snowflake、Google BigQuery 和 Databricks 等云数据仓库。

这提供了一种现代、灵活且经济高效的方式，为 AI 和人类分析提供数据基础，这一切都基于开放数据基础设施原则——数据可在各查询引擎之间互操作，并存储在用户控制下的经济高效的存储桶中，因开放数据格式而免于供应商锁定。

Fivetran Managed Data Lake始终在改进，定期添加新功能和性能改进。

[CTA_MODULE]

宣布推出 Managed Data Lake Write Credentials

现已面向所有用户正式发布，Managed Data Lake Write Credentials提供了执行 DDL 和 DML 操作针对数据湖的能力，从而解锁以下功能：

• 从 Managed Data Lake 表中删除记录——例如，如果您需要根据 GDPR 请求删除客户记录
• 完全删除 Managed Data Lake 表——例如，如果您需要删除不再需要的表

此功能通过向 Managed Data Lake 用户提供第二组凭据来访问托管的Apache Polaris™目录而实现——区别在于这些凭据具有写入权限。您需要是 Destination Admin 或 Account Admin 才能看到它们；它不是供一般用途使用的。

之所以这样实现，是因为您可能有更多的用户、工具和代理需要从数据湖读取数据，而写入则限于特定用户或情况。通过提供新凭据，您可以确保之前只能读取的任何用户或工具现在无法写入，同时为需要写入的用户授予写入权限。

此能力极大地增加了可以迁移到 Fivetran Managed Data Lake 的用例和工作负载，支持从云数据仓库迁移。

注意事项

当使用一组写入凭据执行 DDL 和 DML 时，您正在更改存储在 Fivetran Managed Data Lake 中的数据。请确保您信任所使用的引擎并了解它在做什么。否则，数据可能会丢失或损坏，或者未来同步的正确性或成功可能会受到影响。

请注意，这主要用于 Apache Iceberg 表——如果您需要修改数据并通过 Delta Lake 访问，请先联系支持。

强烈建议 推荐在发出 DDL 或 DML 语句之前，暂停写入您计划修改的表的 Fivetran 连接器。在 Fivetran 连接未暂停的情况下更改表可能导致永久性数据丢失。

如何使用

让我们来看一个示例，我想要从 Fivetran Managed Data Lake 中的某个表中删除一些无效记录。我将把它设置为一个单独的 Snowflake 目录集成并使用 Snowsight。通过使用 Snowflake，您可以使用 Horizon 目录将写入访问限制为特定用户——这是最佳实践。

要解决的问题

由于我的源数据库中的上游错误，一些无效的 OUTGOING 资费已被加载到我的数据湖中——我想删除这些记录。如果我们查看此查询的结果，可以看到 28 个不同的资费，其中许多在 tariff_code 中包含 OUTGOING：

然而——尝试通过现有目录凭据删除这些记录将无法实现——因为这是只读的。

这是设计使然——大多数用户和应用程序不应写入数据湖。但是，Write Credentials 确实允许在诸如此类的特定用例中执行此操作。我将创建一个新的可写 Snowflake 目录集成，以允许我修复数据。

在哪里找到您的 Write Credentials

这些是作为一组新的凭据提供的，用于以额外权限访问您的数据湖。我首先需要登录我的 Fivetran 控制面板，点击 Destinations，然后找到我想要使用的 Managed Data Lake 目标。我点击进入，然后查找 Write Credentials 选项卡以找到我的新凭据：

如果这是首次在现有目标上使用 Write Credentials，您可能需要点击 Regenerate client secret 按钮。

注意：Client Secret 仅在您成功生成凭据时显示。出于安全原因，之后无法检索。请确保将其记录在安全的位置。

创建新的可写目录

与其修改现有目录以使用写入凭据，我将创建一个新的目录和链接数据库——这样我就可以限制谁可以访问它，以防止意外的数据丢失。

这个新目录将指向相同的底层数据湖文件、元数据和托管的 Apache Polaris™ 目录——因此在这里所做的更改将反映在原始链接目录中。

首先是 CATALOG INTEGRATION——我在 Snowflake 中运行此命令，记得用我之前记录的 Write Credentials 屏幕中的值替换占位符值

有关更多信息，请参阅Snowflake 设置指南中的步骤——但请记住使用 Write Credentials 屏幕中的凭据。

CREATEOR REPLACE CATALOG INTEGRATION jcole_catalog_int_mdls_writer
  CATALOG_SOURCE = POLARIS
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE ='{fivetran_delivered_schema_name}'  REST_CONFIG = (
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS,
    CATALOG_URI ='https://<url>.eu-west-1.aws.polaris.fivetran.com/api/catalog'    WAREHOUSE ='barometer_mentioning'  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI ='https://<url>.eu-west-1.aws.polaris.fivetran.com/api/catalog/v1/oauth/tokens'    OAUTH_CLIENT_ID ='<oauth_client_id_from_fivetran>'    OAUTH_CLIENT_SECRET ='<oauth_client_secret_from_fivetran>'    OAUTH_ALLOWED_SCOPES = ('PRINCIPAL_ROLE:ALL')
  )
  ENABLED =TRUE,
  REFRESH_INTERVAL_SECONDS =60; -- Configurable: adjust this value to control how often Snowflake refreshes the catalog integration

然后创建目录链接数据库——注意我将其命名为与只读版本相同，但附加了 _writable，以便清楚地表明这是可写的那个。目录是上面创建的那个。

CREATE DATABASE jcole_catalog_int_mdls_writer 
  LINKED_CATALOG = (
    CATALOG ='jcole_catalog_int_mdls_writer'  );

现在，针对 JCOLE_MDLS_MKTING_DB_WRITABLE 数据库运行的查询将接受更新和删除操作，这些更改也会反映在只读的 JCOLE_MDLS_MKTING_DB 数据库中。

让我们删除 OUTGOING 关税。

修复数据

第一部分——我需要使用 Fivetran UI 暂停我的连接，以免数据损坏：

让我们再次尝试那个 DELETE FROM 查询——这次更新为使用可写数据库：

‍注意：你可能需要等待目录刷新，以便更改可见。

好的——现在我将针对原始的只读数据库重新运行原始查询：

无效记录已成功移除——仅剩 14 个不同的 tariff_code 值，且没有包含 OUTGOING 的值

最后一步——重新启用连接器以进行更改并重新开始同步：

结论

在这篇博客中，我们已经看到 Write Credentials 的发布如何使 Fivetran 托管数据湖目的地上的写入和删除成为可能，从而使更多数据存储能够迁移到由 Fivetran 驱动的开放、可互操作且成本更低的开放数据基础设施架构。

这意味着更多用例被解锁——你可能希望研究升级你的存储，以获得 这些好处 相比仅使用云数据仓库原生存储，更具成本效益、开放且可互操作的存储所带来的好处！

[CTA_MODULE]