Benchling与Snowflake推出双向数据共享，加速生命科学研发

联合撰写：Priyanka Bhojwani（Benchling 数据平台产品经理）

生命科学研发会产生海量高价值数据，但这些数据往往被困在脆弱的 ETL 管道、过时的批量导出和单向集成之后。Benchling 构建了 Direct Data Share 来改变这一现状：在 Benchling 与客户的 Snowflake 账户之间实现原生的双向连续数据同步，让湿实验室和干实验室的科学家能够在他们偏好的环境中、结合适当的企业上下文协作处理数据。

Benchling 着手解决的问题

Benchling 客户此前需要构建和维护自定义管道，将 Benchling 数据导入 Snowflake。这种方式维护负担重、适应速度慢，而且由于通常按批处理计划运行，会使下游系统滞后数小时甚至数天。实验数据存放在 Benchling 中，而围绕它的丰富外部上下文存放在 Snowflake 中，两者之间没有简单的方式可以打通。

与此同时，AI 提高了科学家对数据的期望。他们希望自行探索数据，将其与模型结合，并跨多年实验进行学习，而无需等待系统建设完成。

Direct Data Share 的功能

Direct Data Share 完全消除了工程负担：

• 零代码配置。 直接从 Benchling 管理设置中激活双向数据共享，无需管道，无需自定义开发。
• 预结构化、可查询的表。 Benchling 数据以结构化表的形式落地到 Snowflake，可供 BI 工具、AI 代理或计算团队进行下游分析。
• 近实时新鲜度。 无需等待每夜批处理作业，Benchling 中的变更会持续流入您的数据湖。
• 细粒度治理。 管理员控制谁可以发起同步和管理连接，从而保持合规与安全要求不受影响。
• 双向。 同样重要的是，Benchling 可以安全地从您的 Snowflake 实例读回数据，让外部的、经过丰富的数据能够反哺 Benchling 内部正在进行的工作。

“在生命科学领域，从设计-构建-测试-分析循环中节省的每一周都会累积为更快的里程碑和更低的单候选成本。Benchling 与 Snowflake 之间的双向 Direct Data Share 消除了湿实验室检测数据采集与计算决策之间的滞后——让团队能够基于实时实验数据训练模型，并将预测性洞察直接推回科学家的 Benchling 工作区，且无需维护任何管道。” — Deven Atnoor，Snowflake 生命科学领域 CTO

将代理引入循环

真正的突破在于，一旦代理能够访问这些数据，可能实现的事情就不仅仅是查询，而是真正完成科学家原本需要手工完成的分析工作。

以一个常见的研发场景为例：一位计算生物学家希望对整个多批次发酵 campaign 的数据拟合生长曲线。如今，这通常意味着将数据导出到 notebook，并逐批次手动运行曲线拟合，这一过程可能需要数小时到数天，并且实际上会在所有人等待分析结果期间打断设计-构建-测试-分析（DMTA）循环。

借助 Direct Data Share，可以要求 Benchling 代理用自然语言完成这项工作，整个工作流一步完成，就在 Benchling 内部进行。在这个演示中，我们的代理被要求通过 Snowflake 连接拉取时间序列发酵数据，并对其拟合 Gompertz 生长曲线。

https://youtu.be/dNFreEG43qE

在底层，它：

• 直接从 Snowflake 表中拉取跨 200 次发酵运行的约 30 万行数据，使用 Direct Data Share 将其作为原生 Benchling 数据集引入。
• 启动自己的本地 Python 环境，并编写清理数据以及隔离每次运行生长阶段所需的代码。
• 按请求对每次运行的时间序列拟合 Gompertz 模型。
• 返回成功拟合的 185 次运行的完整结果。

过去需要在平台之外绕行数天的工作，变成了一次自然语言请求，并且科学分析是在完整数据集上运行的。

闭合流程与分析之间的循环

Direct Data Share 将实验数据、外部上下文和分析保持在一起并持续同步，使 DMTA 循环始终留在同一个系统内。结果会在做出下一个决策的地方送达。

对与 Snowflake 配合使用的 Direct Data Share 感兴趣？

请联系您的 Benchling 客户团队，了解如何开始使用。

工程：Ramkumar Sugavanam、Eden Grown-Haeberli、Sean Kim、Maya Nyayapati

Benchling 与 Snowflake：以 AI 的速度为生命科学研发提供双向数据共享 最初发表于 Snowflake Builders Blog: Data Engineers, App Developers, AI, & Data Science 于 Medium，人们正在那里通过高亮和回应这个故事来继续对话。