Fivetran、dbt与Databricks Lakeflow如何协同

乍看之下，Databricks Lakeflow 似乎分别在数据集成和数据转换方面与 Fivetran 和 dbt 直接竞争。实际上，Lakeflow 为两者提供了强大的互补能力——与 Fivetran 配合使用，将不同来源的数据摄取并处理到同一个 Databricks 环境中；与 dbt 配合使用，处理原始流数据并进行端到端编排。

Fivetran、dbt 和 Databricks Lakeflow 共同构成了现代开放数据平台的基础，支持数据的所有运营和分析用途。使用 Fivetran 将企业数据引入 Databricks，使用 dbt 将数据转化为可信的业务模型，使用 Databricks Lakeflow 通过自定义管道摄取和处理事件流，并协调下游工作。

[CTA_MODULE]

各部分带来的价值

Fivetran 在广泛的应用和数据库之间提供托管数据集成。预构建连接器覆盖超过 770 个不同的数据源，为通用分析和运营目的自动化数据集成，同时提供增量同步和模式迁移等高级功能。Fivetran 将数据交付到 Delta Lake和其他开放表格式中，下游工作负载可以在那里访问数据。

dbt让分析团队将转换定义为代码，并配有测试、版本控制和文档。团队可以保留已有的模型，并在新数据到达时扩展它们。Fivetran 还提供预构建的 dbt 兼容数据模型用于支持的源（请检查每个包与 Databricks 的兼容性）。

Lakeflow 提供摄取、转换和编排。 Lakeflow 管道构建在Spark 声明式管道之上，支持 SQL 和 Python 的批处理和流处理。Lakeflow Jobs 协调下游任务，包括dbt 项目。

一家公司可能选择 Fivetran 用于其 SaaS 和数据库连接，选择 Lakeflow 用于事件摄取和处理，选择 dbt 用于业务建模。

使用 Fivetran、dbt 和 Lakeflow 的实例

假设你需要将商业背景和行为信号集中在一处，以构建实时账户健康表。以下是你可以如何构建一个技术栈：

1. 通过 Fivetran 进行批量 SaaS 和数据库数据集成：Fivetran 将 Salesforce 账户、账单记录、支持工单和应用数据库表复制到 Databricks。这些数据集确立了客户是谁、他们为什么付费以及哪些产品工作区属于他们。随着源系统的变化，Fivetran 管理支持的连接。
2. 通过 Lakeflow 进行流式产品数据集成：Lakeflow 管道从 Kafka 等消息总线摄取产品事件。这些事件记录登录、功能使用和失败交易。工程团队编写处理逻辑来去重、处理延迟到达的数据，并计算相关时间窗口内的账户级使用情况。该流与 Fivetran 提供的业务数据一同到达。
3. 通过 dbt 进行转换：分析团队使用 dbt 构建账户、订阅和支持模型。它一致地定义经常性收入，将工单关联到账户，并维护产品工作区与商业客户之间的映射。测试识别缺失的账户标识符或意外的重复订阅。支持的 Fivetran 包可以提供起点，并根据需要添加公司特定的逻辑。
4. 使用 Lakeflow 进行编排：然后 Lakeflow 将处理后的使用信号与转换后的业务模型结合到下游账户健康表中。团队可以定义一条初始规则，标记活动下降、支持需求增长且续约日期临近的账户。Lakeflow Jobs 可以协调下游管道和 dbt 任务。

借助这个技术栈，你的数据团队构建了一个通过流处理实时更新的账户健康表，适用于决策支持、业务流程自动化和 AI 应用。

为什么特别是 Fivetran、dbt 和 Lakeflow？

专门由 Fivetran、dbt 和 Databricks 构建技术栈的理由，在于每项技术如何分别服务于三种需求：多样化的业务来源、严重依赖 SQL 的数据团队，以及自定义数据工程。

Fivetran 特别适合使用大量 SaaS 应用和数据库的公司，让数据团队可以外包连接器的构建和维护，同时确保变更数据捕获、历史加载、模式变更支持和恢复等关键能力。Fivetran 将持续集成作为托管服务，解放工程师去处理账户匹配、有用信号和其他业务特定问题。

dbt 完美补充了那些已经使用 SQL、测试和文档将原始数据转换为可用模型的团队。保留这些资产让团队可以将已建立的业务定义扩展到新的用例。

Databricks 非常适合涉及机器学习、人工智能和非结构化数据处理的工程密集型工作负载。Lakeflow 让工程师可以在业务数据落地的同一环境中开发批处理和流处理管道。

从一个具体的数据产品开始，比如前面的账户健康示例。通过从头到尾梳理你的数据源、数据新鲜度要求、摄取和转换，你将获得一个实用的基准，来评估 Fivetran、dbt 和 Lakeflow 如何为你协同工作。

[CTA_MODULE]