Treehouse TDT 登陆 Snowflake 原生应用，打通大型机数据

Snowflake 正在通过引入 Snowflake Datastream 重新定义数据流入其平台的方式。对 Treehouse Software 而言，这为更宏大的目标打开了大门：一个专为在 Snowflake 框架自身内部原生运行而构建的大型机到 Snowflake 的数据交付解决方案！借助 Datastream，Treehouse 重构了其现有产品 Treehouse Dataflow Toolkit（TDT），使其在 Snowflake 内部运行，并使用 Datastream 作为其 Kafka 层。欢迎 TDT Snowflake Native App！

TDT 本身背后的技术并不新鲜。TDT 已在生产中经过多年验证，为大型企业客户将大型机数据交付到 Snowflake 和其他现代分析平台。改变的是它可以运行的位置：TDT Snowflake Native App 现在完全在 Snowflake 内部运行。

Introducing Snowflake Datastream

虽然许多组织依赖 Kafka 作为其流式骨干，但将其与分析平台分开运行会带来摩擦：重复成本、分裂治理和延迟的数据交付。Snowflake Datastream（private preview） 通过将 Apache Kafka 兼容的流式服务原生引入 Snowflake 来解决这一问题。这消除了管理两个独立系统的开销。数据持续流入原生 Snowflake 或开放的 Apache Iceberg™ 表，并可在数秒内查询。由于它存在于 Snowflake 内，数据在落地的那一刻即受到基于角色的访问控制（RBAC）和 Horizon Catalog 的保护，继承分类、血缘和掩码策略。设置也同样简化：只需定义你的管道，CoCo 即可在数分钟内管理 Datastream 身份验证和团队入门，无需任何专门的 Kafka 专业知识。

超越 Datastream：完整的数据交付解决方案

借助 TDT Snowflake Native App，企业可以让 Snowflake Datastream 发挥远超流式层的作用。他们将同一个融合且受治理的平台一直从大型机扩展到分析层，中间没有独立的流式基础设施。Datastream 成为全自动数据交付解决方案的关键组件，将大型机数据从 Db2、VSAM、Adabas、IMS、IDMS、Datacom 和平面文件直接移入 Snowflake。

TDT Snowflake Native App 远不止简单地落地数据。它会自动配置 schema、落地表、视图和监控资源，无需任何人工干预。它同时支持批量加载和持续的变更数据捕获（CDC）。得益于其自动扩缩架构，TDT Snowflake Native App 能够处理不断增长的数据量，跟上产生大量变更数据的大型机系统的步伐。

TDT Snowflake Native App 如何工作

首先第一件事——将数据从大型机取出。Treehouse 提供大型机到 Datastream 的组件（Rocket 的 RDRS），它在源头捕获变更并将其发布到 Datastream。从那里开始，TDT Snowflake Native App 接管。其爬虫功能检查传入的数据结构，并构建所需的所有目标资源：Snowflake schema、增量表、视图以及针对不同类型用户量身定制的监控资源。

大型机数据可能是层次化的（例如 VSAM、Adabas、IMS 数据），组织为父、子、孙关系。TDT 不是将该结构拆分到多个关系表中、然后需要繁琐的连接来重新组装，而是将大型机数据以 JSON 格式加载到 Snowflake 中，保持任何层次结构完整。

TDT 还会将这些数据加载到增量表中，这些表捕获从与 Snowflake 开始同步那一刻起对大型机源所做的每一次变更的完整历史。经过多年的持续同步，该历史本身就成为一项可观的资产——一份多年的大型机活动记录，数据科学家和分析师可以利用它进行趋势分析、预测建模和其他未来计划。

对于只关心大型机数据最新快照的用户，TDT 提供两种视图：JSON 视图和关系视图。分析和 AI 团队倾向于直接使用 JSON 视图，因为它们保留了大型机的层次数据结构。与此同时，业务用户通常更喜欢关系视图。TDT 的爬虫会自动生成这些完全结构化的关系视图，重现 SQL 数据库的传统外观和感觉，为日常查询提供用户友好的大型机数据源当前快照。

由于它是 Snowflake Native App，TDT 可在 Snowflake 运行的任何地方运行——在 AWS、Azure 或 GCP 上——无论企业的 Snowflake 账户位于哪个云平台，都能为其提供相同的能力。

在生产中经过验证

TDT Snowflake Native App 背后的技术并不新鲜。Treehouse 的 Dataflow Toolkit 已在一家大型汽车制造商的生产环境中运行了四年，将经销商和车辆订单管理数据从多个大型机数据库复制到 Snowflake。通过观看联合的 Treehouse + AWS 网络研讨会视频在此 来了解有关该实施的更多信息。

TDT Snowflake Native App 将同样经过生产验证的技术带入 Snowflake 原生架构。采用它的客户并不是在押注未经证实的东西——他们获得的是建立在多年企业级真实世界可靠性之上的新部署模式。

这对 Snowflake 客户意味着什么

对客户而言，转向 Snowflake 原生架构不仅仅是实现细节。数据更快、更可靠地到达分析师和数据科学家手中，因为大型机和 Snowflake 之间没有外部 Kafka 集群或连接器层。运营开销也下降了：一旦数据发布到 Datastream，下游的一切都在客户已经管理、保护和监控的 Snowflake 环境内运行。

治理也随之免费获得。因为 Datastream 将数据落为受治理的 Snowflake 表，所以数据一到达就自动继承基于角色的访问控制、掩码、血缘和 Time Travel。TDT Snowflake Native App 构建在同一个受治理的基础之上，而不是绕过它。随着 Snowflake 不断添加新的平台能力，TDT Snowflake Native App 在设计上保持兼容，无需重复的工程工作即可让管道保持现代化。

关于 Treehouse Software

Treehouse Software 自 1982 年起专注于企业大型机数据集成，帮助组织将复杂的遗留数据迁移到现代平台，同时不牺牲速度、安全性或对最佳实践的遵循。通过 TDT Snowflake Native App，Treehouse 支持将来自各种大型机数据源的数据传输到 Snowflake，这些数据源包括 Db2、VSAM、Adabas、IMS、IDMS、Datacom 和平面文件。Treehouse 欢迎有机会讨论 Datastream 和 TDT Snowflake Native App 如何将您的大型机数据带入 Snowflake 的受治理平台。请联系我们，探讨这在您的环境中会是什么样子。

TDT Snowflake Native App 是 ©Treehouse Software, Inc. 版权所有。

大型机数据遇上 Snowflake Datastream：TDT 走向 Snowflake 原生 最初发布于 Snowflake Builders Blog: Data Engineers, App Developers, AI, & Data Science 在 Medium 上，人们通过突出和回应这个故事来继续对话。