Fivetran推出托管数据湖服务，自动化湖表维护

在Fivetran，我们深知管理数据湖的复杂性与挑战。因此，我们很高兴推出我们的最新创新：Fivetran托管数据湖。这项新服务旨在自动化和简化您的数据湖管理，让您能够专注于真正重要的事情：利用您的数据并推动创新。Fivetran托管数据湖目前已在Amazon S3、Azure Data Lake Storage (ADLS)、 Microsoft OneLake和Google的Cloud Storage上提供。

Fivetran托管数据湖帮助将传统上缺乏治理的数据湖转变为有序、受治理、持续优化的数据存储。通过与数据目录的原生集成（包括AWS Glue、Databricks Unity Catalog和Apache PolarisTM Catalog），用户可以快速发现、访问和治理湖中的关键数据集。在此基础上，用户可以利用兼容的计算引擎（如Databricks、Snowflake、Starburst或Redshift）通过Python、SQL或其他支持的语言查询和修改数据。或者，他们可以使用dbt等工具转换数据，使用Power BI进行可视化，或使用AWS Sagemaker、Azure Machine Learning、Databricks Mosaic AI或Google Cloud Vertex AI等工具构建和部署AI/ML模型。

托管数据湖的强大之处

数据湖对于希望利用大数据进行分析、机器学习和AI的组织来说至关重要。然而，数据湖的维护——处理数据摄取、确保数据质量、管理模式变更以及优化性能——可能耗费大量资源且十分复杂。认识到这些挑战，Fivetran开发了一项服务，不仅简化了这些任务，还将数据湖从笨重的数据存储转变为动态、高效且受治理的数据环境。

Fivetran托管数据湖自动集成来自超过700个预构建或自定义源的数据，然后对其进行规范化、压缩和去重，再以Delta Lake或Apache IcebergTM开放表格式将其落地到您的数据湖中。通过自动化这一转换，我们直接在数据湖上提供数据仓库的典型功能，如ACID事务和可扩展的元数据处理。在此基础上，我们持续监控和维护您的数据湖，处理更新、合并和删除，确保它始终经过优化、保持最新且可供查询。

这种程度的自动化和维护对许多组织来说至关重要。正如Luma Financial Technologies数据负责人Nick Chmura所解释的：“自动化表维护对我们来说是Fivetran的杀手级功能，因为我们有太多不同的源连接器。试图构建变更数据捕获并为所有内容管理它……在时间上的成本将高得令人望而却步。”

关键功能和优势

• 自动化数据集成：Fivetran支持从700多个应用程序、数据库、文件和事件数据源进行摄取，实现无缝集成到任何主要数据湖目的地。这确保您的所有数据都被整合、组织并可轻松访问。此外，Fivetran承担向您的数据湖摄取的成本，大大降低了您的总体拥有成本。
• 基于开放表格式的数据标准化：通过将您的数据规范化和标准化为可供查询的开放表格式（Apache Iceberg或Delta Lake），我们让您更轻松地进行分析和获取洞察，而无需承担手动将数据转换为标准格式的麻烦和计算成本。
• 持续维护：Fivetran处理数据湖持续维护的各个方面，从模式演进到性能优化。这确保您的数据湖始终保持最新并处于最佳运行状态。
• 强大的治理工具：凭借内置的数据治理功能以及与流行数据目录的原生集成，您的数据不仅得到良好管理，还符合GDPR等行业标准和法规。

“我们对Fivetran支持Delta Lake作为直接目的地感到非常兴奋，”Databricks产品总监Himanshu Raja表示。“借助这一新功能，客户现在可以使用Fivetran构建由Databricks Data Intelligence Platform驱动的Delta Lake开放湖仓。我们还对即将推出的Fivetran与Unity Catalog的集成感到非常兴奋，它将为所有Fivetran生成的表提供开箱即用的治理和安全性。”

我们热切期待您试用新的托管数据湖，但它并不适合所有人。如果您的组织主要依赖亚秒级延迟的实时流数据，或者您不想使用Delta Lake或Iceberg等开放表格式，这项服务可能不是理想选择。但是，我们鼓励您与我们联系——我们还有其他数据湖选项可能更符合您的需求。

准备好体验数据湖管理的未来了吗？

借助Fivetran托管数据湖，我们让数据像电力一样易于获取且可靠，赋能企业释放新机遇并推动创新。

随着数据持续成为企业的关键资产，高效且有效地管理数据变得至关重要。在将数据移动到数据湖目的地时，我们完全自动化并管理数据标准化，使企业能够找到利用数据创新的新方式。

要开始使用，请直接前往您的Fivetran仪表板，注册Fivetran的14天免费试用或通过[email protected]联系我们提出任何问题。

Apache Iceberg是Apache Software Foundation的商标。

Apache Polaris是Apache Software Foundation的商标。