Google开源AQuA：诊断生产环境AI Agent故障

Google 已开源 AQuA（Ambient Quality Agent，环境质量代理），这是一个参考实现，用于分析生产环境中的 AI 代理会话，验证反复出现的故障模式，并针对已部署的源代码修订版调查根本原因。该工具针对传统基础设施监控可能遗漏的静默质量回归，例如代理忽略用户偏好或在返回成功响应的同时跳过必需的工具调用。

AQuA 在 Google Cloud 中与代理并行运行，位于其请求路径之外，从 Cloud Trace、Cloud Logging 或 BigQuery 读取遥测数据。它每次运行最多采样 1,000 个近期会话，并通过五个阶段处理它们：采样、审查、聚类发现、验证候选聚类以及跟踪问题。开发者可以通过一个 goal.md 文件配置特定领域的质量标准，并添加确定性的自定义指标。AQuA 可以按计划运行、在部署后运行，或按需运行。

在根本原因分析方面，AQuA 将失败的会话与部署时捕获的不可变源代码快照进行对比。其诊断代理会识别相关的代码或指令，引用文件和行号范围，并在原因位于仓库中时提出更改建议。它还可以将故障归因于外部依赖、工具交接或检索到的数据。AQuA 不会自动应用修复或开启拉取请求。

AQuA sidecar 架构（来源：Google 开发者博客文章）

Google 评估了来自一个多代理旅行应用的 32 个会话，识别出 42 项发现，归为九个候选聚类。验证器在检查每个候选聚类最多三个完整转录后，拒绝了三个不受支持的聚类，剩下六个已验证的问题。其中两个涉及绕过座位可用性检查以及在委派过程中丢失旅行者的纯素偏好。

在开发者修改提示并重放会话后，座位选择绕过从 15 个会话降至两个，饮食偏好遗漏从七个降至零，通过所有检查的会话从五个增加到 13 个。这些结果来自受控重放，而非生产流量。

Google 博客文章指出，

洞察力在于其引用，而非自我报告的置信度分数。

发现项链接到支持性追踪记录，所提出的根本原因必须引用已部署快照中的有效行。AQuA 将发现项跟踪为 NEW、RECURRING，或在 14 天内未被观察到后自动标记为 RESOLVED。采样可能遗漏罕见故障，重放可能无法重现外部状态。

在 LinkedIn 上对该公告做出反应时，Dmytro Aprelenko，Redcore 的工程经理，写道，

代理编排确实需要更好的持续诊断来及早发现这些循环。

AQuA 验证源代码引用并将发现项链接到支持性追踪记录。聚类验证过滤误报，尽管它无法确认每个会话都表现出相同的故障。Google 的 Agent Platform 评估服务 支持回归测试和生产质量监控，而 Arize Phoenix 提供开源追踪和评估。AQuA 专注于对生产故障进行分组，并将已验证的发现项链接到已部署的源代码。

Google 将采样限制和外部状态的不完整重现确定为约束条件。其开源实现帮助团队将生产代理诊断集成到开发和评估工作流中。