Google Cloud 把数据技能带进 IDE 和 CLI

数据管道是现代企业的支柱，但编排它们存在准入门槛，使得这一关键能力对许多数据专业人员而言遥不可及。继我们在Google Cloud NEXT '26 上的发布（我们在那里推出了 Orchestration Pipelines 框架）之后，我们正在从根本上改变这一局面。

为了将这个强大的框架直接带给从业者，我们提供了Data Agent Kit——一个统一、免费可用且开源的数据工程与数据科学工具集合，可直接集成到你偏好的 IDE 或 CLI（例如 VS Code、Claude Code 或 Codex）中。

Data Agent Kit 以两种不同的方式将Orchestration Pipelines框架无缝嵌入你的工作流。首先，它提供了一个专用的Data Engineering 选项卡，用于全面的管道管理。其次，它包含一个专门的智能体技能，旨在使用自然语言编写、部署和排查生产级Apache Airflow® DAG的问题。

通过将这些专门的智能体技能与声明式 YAML DSL 相结合，所有数据角色——从分析师到 ML 工程师——都可以绕过复杂的 Python Airflow 样板代码。该框架将高层编排逻辑与底层计算执行解耦，从而在整个数据组织中普及强大的 MLOps 能力。

在本文中，我们将通过一个示例性 MLOps 用例来演示这可以多么轻松地实现。

设置你的环境

在编写你的第一个 Orchestration Pipeline 之前，你需要设置本地开发环境。入门只需不到两分钟。

1. 安装并配置扩展

要在你偏好的 IDE 或 CLI——例如 VS Code、VS Code 分支版本、Antigravity、Claude Code、Antigravity CLI 或 Codex——中安装该扩展，并使用你的 Google Cloud 账号对其进行身份验证，请遵循官方文档中的分步设置指南：Google Cloud Data Agent Kit 安装指南

2. 验证编排管道技能

安装完成后，验证所需的智能体技能已启用：

1. 打开 ‘Google Cloud Data Agent Kit’ 面板，位于 VS Code 活动栏上。
2. 导航到 ‘Settings’ 然后 ‘Skills’。
3. 确保 ‘gcp-pipelines-orchestration’ 技能已启用。

该技能为智能体提供关于管道语法、变量替换、密钥管理以及 Airflow 运行自动化事件诊断的深度上下文知识。

3. 构建你的第一个管道

要使用自然语言提示直接在任何 VS Code 兼容的 IDE 内开始编写、构建和验证编排管道，请遵循官方构建指南：构建管道指南

一个示例业务问题：主动式供应链管理

让我们通过一个示例业务问题来演示。在物流和零售行业，客户满意度取决于准确的配送预估。当订单在没有预警的情况下延迟时，客户流失可能会激增，支持成本也可能攀升。

为了解决这个问题，我们正在构建一个端到端 MLOps 架构，根据仓库位置、客户位置和订单特征来预测确切的运输时间（以天为单位）。通过在发货前预测这些延迟，运营团队可以在服务级别协议（SLA）被违反之前主动通知客户或自动升级配送等级。

为了使该架构完全可复现，我们使用 BigQuery 中的 bigquery-public-data.thelook_ecommerce 公共数据集。出于演示目的，我们将这个静态数据集拆分为训练集和推理集。在现实场景中，推理将针对新的、传入的数据执行。该数据集提供了真实的运营复杂性：

• 地理数据： 客户地址（users）和配送中心（distribution_centers）的纬度和经度。
• 时间数据： 细粒度的订单生命周期时间戳（created_at、shipped_at、delivered_at）。
• 订单属性： 产品类别、定价和履约状态（orders、order_items）。

通过将此数据集与 BigQuery、Managed Service for Apache Spark 无服务器、Gemini Enterprise Agent Platform 和 dbt 相结合，我们将演示如何构建一个自动化、自愈的 MLOps 循环，处理训练、每日批量推理和模型漂移评估。

智能体工作流：从提示到管道只需几分钟

配置好扩展后，我们可以完全绕过用于 DAG 编写的 Python 样板代码。在 VS Code 中，我们打开 Data Agent Kit 聊天，并提供一个自然语言提示来定义我们的持续 MLOps 反馈循环：

注意： 这个详细的提示是专门为这篇博客文章考虑可重复性而精心设计的。在现实场景中，你可以以更对话式的方式逐个管道实现相同的结果。完整的提示和所有生成的文件可在 Orchestration-pipelines GitHub 仓库 中找到。

注意： 虽然配备了 Orchestration Pipelines 技能的前沿模型通常可以一步搭建完整的工作流，但 LLM 的响应会因模型版本、工作区上下文和 token 深度而自然变化。如果初始一轮中遗漏了某个特定参数、数据集路径或依赖项，只需提供一个简短的后续提示即可。

几分钟内，Data Agent Kit 就生成了底层的 PySpark 脚本、dbt 配置以及三个声明式 YAML 管道。

请见下方生成的 YAML 管道及其可视化图示。该管道是一个简化示例，旨在展示 Orchestration Pipelines 的能力。在实践中，推荐的生产 MLOps 设置将因你的具体用例和运营需求而异。

管道 1：训练引擎 该流水线充当我们的重计算引擎。该智能体生成了一个 YAML 定义，该定义首先查询 BigQuery 以提取历史已完成订单。随后，它动态配置一个 Managed Spark 无服务器集群，以计算地理距离并训练一个用于生产环境的模型。最后，它将训练好的模型推送到 Gemini Enterprise Agent Platform Model Registry。

加载中……

流水线 2：每日推理对于我们的日常运营工作流，这个轻量级流水线将训练好的模型应用于所有当前在途订单。它通过 BigQuery 作业查询数据集，通过 Gemini Enterprise Agent Platform 执行推理作业，并将结果写回 BigQuery 表，以便为客户支持团队标记潜在的 SLA 违规。

加载中……

流水线 3：自动化评估与分支每日评估流水线充当我们的自动化质量门禁。它触发 dbt 模型，将我们的预测与实际交付时间戳进行连接，计算绝对误差和 SLA 违规。

该流水线使用内置逻辑自动评估这些指标。如果模型的错误率超过我们可接受的阈值，它会有条件地触发“training-pipeline”以生成一个新模型。

加载中……

自动部署到 Managed Service for Apache Airflow

编写流水线逻辑只是成功的一半；将其安全可靠地部署到生产环境，正是数据团队历来耗费大量宝贵时间的地方。

借助 Orchestration Pipelines，可通过标准 CI/CD 实践简化部署。无需手动编写部署脚本或配置复杂的环境边界，Data Agent Kit 会为你的工作区自动生成必要的持续集成工作流（例如 GitHub Actions）。

这意味着你只需点击提交，该框架便会将你的 Orchestration Pipeline 包无缝打包并直接部署到你的 Managed Airflow 环境。

有关将这些自动化工作流集成到你现有 CI/CD 流水线的全面指南，请查阅官方指南：部署 Orchestration Pipelines。

第二天运维：监控与智能体故障排查

维护这些流水线就像构建它们一样直观。通过将编排控制平面直接引入你的 IDE，Data Agent Kit 可实时监控你的 Managed Airflow 运行，无需你不断在浏览器标签页之间切换上下文。

Data Agent Kit 可直接在你的 IDE 内实时监控你的 Managed Airflow 运行。

Data Agent Kit 将创建的流水线可视化。

基础设施或数据问题不可避免——也许是 Managed Spark 集群因季节性数据高峰而遇到内存不足异常，或者达到了 BigQuery 配额。解决这些问题不再需要在数千行原始执行日志中翻找。

如果流水线失败，Data Agent Kit 会提供开箱即用的智能体故障排查。只需在你的 IDE 中点击“Troubleshoot”按钮，Data Engineering Agent 就会分析故障上下文。它能够准确区分基础设施配额限制和代码级缺陷，即时提供根本原因摘要并建议内联修复（例如扩大计算模板）。

智能体故障排查可即时诊断流水线故障、识别基础设施瓶颈并建议内联修复。

总结：加速实现价值

构建一个有弹性的 MLOps 架构——提取历史数据、执行 dbt 转换、配置 Managed Spark ML 计算、集成 Gemini Enterprise Agent Platform 用于模型注册和推理，以及配置跨 DAG 条件触发——传统上需要平台工程团队花费数周时间编写复杂的 Python Operator 逻辑。

借助 Orchestration Pipelines 和 Data Agent Kit，整个生命周期在几分钟内即完成编写、部署并易于维护。通过用声明式、面向智能体的标准替代样板基础设施代码，我们确保你的数据组织花费更少时间编排流水线，而将更多时间用于交付切实的业务价值。

立即开始：

• 查阅 Orchestration Pipelines 文档。
• 在你偏好的 IDE 或 CLI 中安装 Data Agent Kit 并配置你的工作区。
• 在我们最近的博文中了解更广泛的生态系统：Data Agent Kit 将数据技能和工具带入你的 IDE 或 CLI。
• 在 Data Agent Kit 文档 中探索参考架构。

发布于

• 数据分析