为 Amazon MWAA 构建 LLM 驱动的 DAG 故障分析插件
Apache Airflow 已成为数据管道编排核心,但当管道扩展到数百个 DAG 并跨 AWS Glue、Amazon EMR、Amazon Athena、Amazon Redshift 等服务时,单个任务失败排查非常耗时。本文介绍如何构建自定义 Airflow 插件,集成 Amazon Bedrock(Anthropic Claude)自动分析 DAG 任务失败,并给出可操作的诊断洞察。插件部署在 Amazon MWAA 上,在 Airflow UI 中提供按需 AI 根因分析。完整源码已发布在 GitHub 示例仓库中。