Grafana 将 SLO 与错误预算用于 AI Agent 行为

Grafana Labs 正在提出一种熟悉的可靠性工程方法，用来解决现代软件中一个不太熟悉的问题：如何衡量 AI 智能体是否真的表现良好。在最近的一篇文章中，该公司描述了如何使用评估、服务级别目标（SLO）和错误预算，将幻觉、任务完成、有害性和成本等行为转化为可以随时间监控的可衡量目标。

这一思路解决了传统应用可观测性的一个根本局限。传统指标可以告诉工程师某个智能体响应迅速、没有遇到技术错误，并消耗了一定数量的 token，但这些都不能表明它的回答是否正确、是否基于可用信息，或是否对用户有用。Grafana 的方法是评估行为本身，并将结果转化为可对照 SLO 进行衡量的 SLI。

第一步是评估。评估会检查一次智能体交互，并判断它是否满足某一特定行为标准。Grafana 描述的例子包括：回答是否基于所提供的上下文、是否完成了用户的请求、是否包含有害内容、是否泄露个人信息，或是否屈服于提示注入。评估可以使用另一个语言模型作为评判者，但在无需 LLM 即可识别行为的情况下，也可以使用正则表达式等确定性检查。

这与试图创建一个单一的“智能体质量分数”有着重要区别。Grafana 认为质量是多维的：一个智能体可能依据充分但成本高昂，可能有帮助但偶尔有害，或者准确但缓慢。将这些作为单独的测量项，可以让团队针对特定应用所关心的行为建立不同目标，而不是将重要故障隐藏在聚合分数中。

一旦某种行为可以被衡量，传统的 SRE 概念就变得适用。Grafana 举例说，可以设定一个 SLO，要求在 30 天内 95% 的对话被判定为已完成。剩余的 5% 就构成错误预算：即团队明确决定在该时间段内可以容忍的不可接受行为量。

这种方法的重要性不在于百分比本身，而在于它所建立的决策模型。当仍有足够的错误预算时，团队可以尝试不同的提示词、模型或智能体行为。随着预算被消耗，优先级可以转向提升质量，而不是引入更多变更。这在概念上与 SRE 团队长期以来用于平衡可靠性与开发速度的取舍相同。Grafana 现有的 SLO 工具同样通过 SLI、目标值和时间窗口来定义 SLO，并根据目标值与 100% 之间的差距计算错误预算。

当智能体行为是逐渐变化而非戏剧性失败时，这种方法尤其有用。传统告警可能会发现失败请求突然激增，但智能体可以在继续成功响应的同时，其答案却变得微妙地不那么有用。模型变更、提示词修改、检索变更或用户行为变化，都可能使质量每天下降零点几个百分点。

Grafana 认为，监控错误预算消耗率可以让这类漂移变得可见。单次糟糕的交互相对于 30 天目标可能无关紧要，但持续下降会稳步消耗可用预算。这提供了不同于传统基础设施监控的信号：问题不一定在于某一次执行是否失败，而在于系统的总体行为是否正在偏离约定的可靠性范围。

最难的部分可能不是创建 SLO，而是决定什么构成可接受行为。与可用性目标不同——组织在这方面拥有数十年的运营经验可供借鉴——对于智能体应达到 85%、95% 还是 99% 的完成度或依据性，共识要少得多。

Grafana 的方法是通过评估建立基线，然后利用历史结果帮助推荐合适的目标。随着智能体逐渐成熟，目标随后可以收紧。这一概念也反映了可观测性需要覆盖的范围正在发生更广泛的变化。Grafana 自己的 Agent Observability 工作正是源于监控其 Grafana Assistant 时遇到的问题：提示词、模型和工具的变化使传统监控不再足够。在社区讨论中，Grafana 工程师区分了离线评估和在线评估：前者针对已知场景验证变更，后者则根据真实生产交互评估行为。

传统可观测性通常询问系统是否可用，以及是否在技术限制内运行。AI 系统引入了另一层问题：系统的决策和输出是否仍处于可接受的行为边界内。这在评估、可观测性和工程变更之间形成了一个反馈循环，更接近持续质量测量，而不是传统的应用监控。

还有一个重要局限。SLO 的有用程度取决于其下方的测量。如果 LLM 评判者持续错误分类响应，由此产生的错误预算可能会带来虚假的精确感。同样，设计不佳的评估可能会奖励智能体产生技术上满足某一标准、但未能满足用户实际意图的输出。

这意味着组织仍然需要具有代表性的评估数据集、对可接受行为的明确定义、尽可能采用适当的确定性检查、对模糊情况进行人工审查，以及对评估器本身进行持续验证。SLO 提供了治理机制，但它并不会使底层质量测量本身自动正确。

SLO 传统上为工程团队提供了一种通用语言，用于平衡可靠性和变更：定义什么是重要的，对其进行度量，建立一个可接受的阈值，并利用剩余的错误预算来指导决策。

>将同样的思路应用于 AI 智能体，可将该模型从系统可靠性扩展到行为可靠性。一个智能体可能技术上可用，但在运营上却不可靠，因为其答案变得越来越不准确、缺乏依据、成本高昂或不安全。将这些行为视为可度量的服务目标，为工程团队提供了一种机制，用于检测这种退化并决定何时应让实验让位于修复。

因此，其意义不仅仅在于 Grafana 又添加了一项 AI 指标。而在于，一项成熟的 SRE 原则正在被适配到一个系统中——在该环境中，系统可以保持“运行正常”，却逐渐变得不那么可信。对于将 AI 智能体投入生产的组织而言，这一区别可能成为 AI 可观测性中更重要的部分之一。

Grafana 的 SLO 方法是更广泛行业努力的一部分，旨在使智能体行为可度量，尽管其他组织正从不同方向来解决这一问题。Anthropic例如，它为智能体开发了更正式的评估实践，使用定义好的任务、重复试验和多个评分器来衡量智能体是否始终如一地实现其预期结果。它对 pass@k 与 pass^k 的区分尤其与生产环境中的智能体相关——前者衡量智能体在多次尝试中是否至少成功一次，后者衡量它是否在所有尝试中始终成功，而在生产环境中，可靠性比最终找到答案更重要。

OpenTelemetry则从不同层面来处理这一问题，致力于为智能体遥测制定标准化的语义约定，以便追踪、指标和日志能够为跨框架和跨供应商评估智能体行为提供一致的基础。这些方法共同展示了一种新兴模式：评估确定智能体是否行为正确，可观测性提供证据，而 SLO 提供用于判断该行为是否可接受的运营阈值。