Fivetran推出托管数据湖写入凭证功能

数据洞察

介绍 Fivetran 托管数据湖写入凭据

2026 年 8 月 3 日

Jamie Cole

高级技术产品营销经理

，

Fivetran

锚点链接

主题

数据湖

分享

您现在可以通过托管数据湖服务执行 DDL 和 DML 操作。

Fivetran 托管数据湖服务的现有用户都知道，将存储与计算分离带来了诸多好处，从降低摄取成本到作为开放数据基础设施的基础。使用 Fivetran 的750 多个连接器将数据摄取到托管数据湖，相比传统数据湖和云数据仓库原生存储具有诸多优势：

• ACID 合规性确保数据完整性，同时兼具数据湖的规模和灵活性
• 降低摄取成本——因为 Fivetran 支付数据移动费用
• 数据落在 AWS S3、Azure Data Lake 和 Google Cloud Storage 等商品化存储桶中，意味着客户保留所有权和控制权
• 以开放的 Apache Iceberg™ 表格式存储数据，使数据访问和互操作性面向未来
• 数据可由多种计算引擎查询，包括 Snowflake、Google BigQuery 和 Databricks 等云数据仓库。

这为 AI 和人工分析提供了现代、灵活且经济高效的数据基础，所有这些都基于开放数据基础设施原则——数据可在查询引擎之间互操作，并以用户控制的方式存储在成本效益高的存储桶中，由于开放数据格式而免受供应商锁定。

Fivetran 托管数据湖服务在不断改进，定期添加新功能和性能改进。

[CTA_MODULE]

宣布托管数据湖服务写入凭据

现在已对所有用户全面推出，托管数据湖服务写入凭据提供了执行 DDL 和 DML 操作的能力，从而解锁以下功能：

• 从托管数据湖服务表中删除记录——例如，如果您需要响应 GDPR 请求删除客户记录
• 完全删除托管数据湖服务表——例如，如果您需要删除不再需要的表

此功能通过向托管数据湖服务用户提供第二组访问托管Apache Polaris™目录的凭据来实现——区别在于这些凭据具有写入访问权限。您需要是目标管理员或账户管理员才能看到它们；这不是供一般使用的。

之所以这样实现，是因为您可能有很多需要从湖中读取数据的用户、工具和代理，而写入仅限于特定用户或特定情况。通过提供新的凭据，您可以确保以前只能读取的用户或工具现在不能写入，同时将写入权限授予需要的人。

这一能力极大地增加了可以迁移到 Fivetran 托管数据湖服务的用例和工作负载，从而支持从云数据仓库迁移。

注意事项

使用一组写入凭据执行 DDL 和 DML 时，您正在修改存储在 Fivetran 托管数据湖中的数据。请确保您信任所使用的引擎，并了解它在做什么。否则，数据可能会丢失或损坏，或者未来同步的正确性或成功可能会受到影响。

请注意，这主要适用于 Apache Iceberg 表——如果您需要修改数据并通过 Delta Lake 访问，请首先联系支持。

强烈强烈 建议在发出 DDL 或 DML 语句之前，暂停将数据写入您计划修改的表的 Fivetran 连接器。在 Fivetran 连接未暂停时修改表可能导致永久性数据丢失。

使用方法

让我们看一个示例，我试图从 Fivetran 托管数据湖中的表中删除一些无效记录。我将设置一个单独的 Snowflake 目录集成并使用 Snowsight。通过使用 Snowflake，您可以使用 Horizon 目录将写入访问权限限制为特定用户——这是最佳实践。

要解决的问题

由于源数据库中的上游错误，一些无效的 OUTGOING 关税已加载到我的数据湖中——我想删除这些。如果我们查看此查询的结果，可以看到 28 个不同的关税，其中许多在 tariff_code 中包含 OUTGOING：

然而，通过现有的目录凭据尝试删除这些将不起作用——因为这是只读的。

这是设计使然——大多数用户和应用程序不应写入数据湖。然而，写入凭据确实允许在特定用例下进行写入，例如本例。我将创建一个新的可写 Snowflake 目录集成，以便修复数据。

在哪里找到您的写入凭据

这些凭据作为一组新的凭据提供，用于访问您的数据湖并具有额外权限。我首先需要登录我的 Fivetran 控制面板，单击目标，然后找到我想要使用的托管数据湖服务目标。我单击进入，然后查找写入凭据选项卡以找到我的新凭据：

如果这是首次在现有目标上使用写入凭据，您可能需要单击重新生成客户端密钥按钮。

注意：客户端密钥仅在您成功生成凭据时显示。出于安全原因，之后无法检索。请务必将其记录在安全的位置。

创建新的可写目录

与其修改现有目录以使用写入凭据，我将创建一个新目录和关联的数据库——这样我可以限制谁能访问它，以防止意外数据丢失。

这个新目录将指向相同的基础数据湖文件、元数据和托管的 Apache Polaris™ 目录——因此在此所做的更改将反映在原始关联目录中。

首先是 CATALOG INTEGRATION——我在 Snowflake 中运行此命令，记住用我之前记录的写入凭据屏幕中的值替换占位符值

更多步骤请参见Snowflake 设置指南 - 但请记得使用“写入凭据”屏幕中的凭据。

CREATEOR REPLACE CATALOG INTEGRATION jcole_catalog_int_mdls_writer
  CATALOG_SOURCE = POLARIS
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE ='{fivetran_delivered_schema_name}'  REST_CONFIG = (
    ACCESS_DELEGATION_MODE = VENDED_CREDENTIALS,
    CATALOG_URI ='https://<url>.eu-west-1.aws.polaris.fivetran.com/api/catalog'    WAREHOUSE ='barometer_mentioning'  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI ='https://<url>.eu-west-1.aws.polaris.fivetran.com/api/catalog/v1/oauth/tokens'    OAUTH_CLIENT_ID ='<oauth_client_id_from_fivetran>'    OAUTH_CLIENT_SECRET ='<oauth_client_secret_from_fivetran>'    OAUTH_ALLOWED_SCOPES = ('PRINCIPAL_ROLE:ALL')
  )
  ENABLED =TRUE,
  REFRESH_INTERVAL_SECONDS =60; -- Configurable: adjust this value to control how often Snowflake refreshes the catalog integration

然后创建与目录关联的数据库 - 请注意，我将其命名为与只读版本相同，但附加了 _writable 后缀，以明确这是可写版本。目录是上述创建的目录。

CREATE DATABASE jcole_catalog_int_mdls_writer 
  LINKED_CATALOG = (
    CATALOG ='jcole_catalog_int_mdls_writer'  );

现在，针对 JCOLE_MDLS_MKTING_DB_WRITABLE 数据库运行的查询将接受更新和删除，并且更改也会反映在只读的 JCOLE_MDLS_MKTING_DB 数据库中。

让我们删除 OUTGOING 关税。

修复数据

第一部分 - 我需要使用 Fivetran 界面暂停连接，以免数据损坏：

让我们再次尝试 DELETE FROM 查询 - 这次更新为使用可写数据库：

‍注意：您可能需要等待目录刷新，以便更改可见。

好的 - 现在我将对原始只读数据库重新运行原始查询：

无效记录已成功移除 - 只有 14 个不同的 tariff_code 值，且均不包含 OUTGOING

最后一步 - 重新启用连接器以进行更改并再次开始同步：

结论

在本文中，我们看到了 Write Credentials 的发布如何使写入和删除操作现在可用于 Fivetran Managed Data Lake 目标，从而能够将更多数据存储迁移到由 Fivetran 驱动的开放、可互操作且成本更低的开放数据基础设施架构中。

这意味着解锁了更多用例 - 您可能希望调查升级存储以获取优势，这些优势来自于比单纯使用云数据仓库原生存储更具成本效益、开放且可互操作的存储！

[CTA_MODULE]

立即试用 Fivetran Managed Data Lake 服务。

立即开始

不确定如何开始？

与我们交谈

主题

数据湖

分享

相关博客文章

标题

免费开始

加入使用 Fivetran 集中和转换数据的数千家公司。

谢谢！您的提交已收到！

哎呀！提交表单时出了点问题。

获取演示