← 数据产品设计库

Data Agent · 产品截图

AWS DevOps Agent + Spark Troubleshooting Agent

Spark 作业失败的线索散落在告警、日志、事件记录和代码中,内置云 API 又看不到执行器内存等 Spark 内部证据。

管任务 · 任务编排
根因标签页显示影响、根因和内存故障的关键发现查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · 根因标签页显示影响、根因和内存故障的关键发现

配图 01 / 09

根因标签页显示影响、根因和内存故障的关键发现

要解决的问题
Spark 作业失败的线索散落在告警、日志、事件记录和代码中,内置云 API 又看不到执行器内存等 Spark 内部证据。
可以借鉴 · DataHot 解读

可扩展 Agent 的配置 UI 应分开“连接服务”与“授予具体工具”两个步骤。

架构图显示 AWS DevOps Agent 通过 AWS PrivateLink 连接到 Apache Spark Troubleshooting Agent查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · 架构图显示 AWS DevOps Agent 通过 AWS PrivateLink 连接到 Apache Spark Troubleshooting Agent

配图 02 / 09

原文配图 2

配图说明
架构图显示 AWS DevOps Agent 通过 AWS PrivateLink 连接到 Apache Spark Troubleshooting Agent
代理空间详情页中的 MCP 服务器部分,带有“添加”按钮查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · 代理空间详情页中的 MCP 服务器部分,带有“添加”按钮

配图 03 / 09

代理空间详情页中的 MCP 服务器部分,带有“添加”按钮

配图说明
代理空间详情页中的 MCP 服务器部分,带有“添加”按钮
“添加能力”对话框,列出 spark-troubleshooting MCP 服务器查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · “添加能力”对话框,列出 spark-troubleshooting MCP 服务器

配图 04 / 09

原文配图 4

配图说明
“添加能力”对话框,列出 spark-troubleshooting MCP 服务器
“选择 MCP 服务器工具”页面,两个 Spark 故障排除工具均被选中查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · “选择 MCP 服务器工具”页面,两个 Spark 故障排除工具均被选中

配图 05 / 09

原文配图 5

配图说明
“选择 MCP 服务器工具”页面,两个 Spark 故障排除工具均被选中
MCP 服务器部分显示 spark-troubleshooting 已连接,有两个可用和两个已连接的工具查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · MCP 服务器部分显示 spark-troubleshooting 已连接,有两个可用和两个已连接的工具

配图 06 / 09

原文配图 6

配图说明
MCP 服务器部分显示 spark-troubleshooting 已连接,有两个可用和两个已连接的工具
Amazon CloudWatch 控制台告警详情页显示 FailedJobs 告警处于 In alarm 状态查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · Amazon CloudWatch 控制台告警详情页显示 FailedJobs 告警处于 In alarm 状态

配图 07 / 09

原文配图 7

配图说明
Amazon CloudWatch 控制台告警详情页显示 FailedJobs 告警处于 In alarm 状态
AWS DevOps Agent 开始调查面板,输入了告警提示查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · AWS DevOps Agent 开始调查面板,输入了告警提示

配图 08 / 09

AWS DevOps Agent 开始调查面板,输入了告警提示

配图说明
AWS DevOps Agent 开始调查面板,输入了告警提示
调查时间线列出代理工具调用和 MCP 调用查看完整原图 ↗
产品截图 · AWS Big Data Blog ↗ · 调查时间线列出代理工具调用和 MCP 调用

配图 09 / 09

调查时间线列出代理工具调用和 MCP 调用

配图说明
调查时间线列出代理工具调用和 MCP 调用

代表图优先,其余配图保留原文顺序;配图不代表一次连续操作。材料核对于 2026-09-02 · 阅读完整原文 →

设计拆解

公开材料说明

  • AWS DevOps Agent 可将自定义 MCP 服务器注册为能力提供者,并在一次调查中交替使用内置 AWS API 工具与 MCP 工具。
  • 官方演练使用 AWS 托管的 Apache Spark Troubleshooting Agent,通过 PrivateLink 连接,MCP 流量不经过公网。
  • 演练中 Agent 从 CloudWatch 告警开始,生成精确到代码行的根因与缓解计划,全流程约两分钟。

DataHot 解读

  • 配置流程先选能力、再选工具,是把“插件已连接”与“Agent 可使用哪些权限”分层表达。
  • 调查结果用时间线保留过程、用根因页压缩结论,同时服务于工程师复盘和负责人快速决策。

功能模块

  • Agent Space 能力管理
  • MCP Server 工具选择
  • 调查启动面板
  • 工具调用时间线
  • 根因与修复计划

交互方式 · 案例整理

  • 在 Agent Space 中添加受管 MCP 服务器并勾选所需工具
  • 从 CloudWatch 告警或单条聊天指令发起调查
  • 在时间线中查看云 API 与 MCP 工具如何交替执行
  • 打开 Root cause 标签查看影响、根因、关键证据和缓解方案

可以借鉴

  • 可扩展 Agent 的配置 UI 应分开“连接服务”与“授予具体工具”两个步骤。
  • 故障调查产品应同时提供压缩后的根因结论和可回放的证据时间线。

收益与代价

  • MCP 扩展弥补了内置 API 的证据盲区,也引入了新的网络、身份和工具权限边界。
  • 约两分钟的自动调查比手工排查快,但修复仍应保留人工确认,特别是生产变更。

适用边界官方演示基于一个刻意制造的 Spark 内存故障,不代表所有 EMR 故障都能在相同时间内解决。 本案例依赖 AWS 账户、指定区域与多项 IAM/VPC 前置配置,不是零配置的通用 Agent 调试器。

资料出处

阅读站内原文 →

对你的产品设计有帮助吗?

反馈与收藏分开保存在当前设备。

查看界面