Zepto在Databricks和MLflow上以评估优先构建客服AI Agent

Zepto对可靠、实时客户支持的推动

Zepto是印度增长最快的即时电商平台之一，拥有数千种产品，覆盖60多个城市，配送时间以分钟计。在速度即产品的业务中，客户支持必须同样迅速。

为了满足这一期望，Zepto在多代理AI系统上运行客户支持，每天处理超过十万张工单。早期，团队可以快速构建和部署代理。更难的问题是如何在数量增长、类别扩展和客户行为不断变化时保持这些代理的可靠性。Zepto与Databricks合作解决了这个问题，不是通过部署更多代理，而是通过将评估作为代理构建、测试和运营的主要方式。

这篇博客详细介绍了这一历程：系统架构、基于Databricks和MLflow的评估框架、其在生产中发挥作用的案例，以及由此产生的成果和经验教训。

为什么“直接部署代理”在规模扩大时失效

在高节奏业务中，“直接部署代理”在规模扩大之前一直有效。每天处理超过10万张AI代理工单时，即使是1%的错误率也会造成每天数千次不良结果和实际收入损失。

压力以不均匀的浪潮涌来。天气事件、排灯节和夏季开始导致工单量急剧飙升。从杂货扩展到服装、电子产品和美妆，引入了新的退款、换货和退货流程。与此同时，更多样化、多语言的客户群带来了更广泛的支持请求，并且每几周就会出现新的故障模式。

更深层次的问题是保障缺口。代理系统作为多步骤工作流运行——分类意图、检索知识、分析输入、推理决策、调用交易工具和生成响应——因此故障可能发生在任何环节，而不仅仅在最终答案中。

这一保障缺口转化为具体问题：

• 故障在客户投诉之前是看不见的
• 修复缓慢
• 最终答案掩盖了内部错误
• 缺乏平衡代理成本、性能和质量的系统性方法
• 代理设计未涵盖所有关键利益相关者的观点
• 在代理快速演进中难以保证可靠性

目标变得清晰：在Databricks和MLflow上工程化评估框架，使其作为代理构建和运营的核心AI基础设施。

为什么评估框架及其成果

一个强大的评估框架直接影响生产就绪的五个方面：

• 可靠性：系统级保证代理在各步骤中正确运行，而不仅仅是“听起来正确”
• 速度：更快、更安全地迭代提示、策略和模型，因为变更会自动进行回归测试
• 成本与质量与性能控制：能够选择最优模型、提示策略或混合路由策略，以在约束条件下达到最佳平衡点，并由严格的评估数据支持
• 治理：可审计的跟踪、版本化的评估基线和明确的部署与回滚阈值。将决策从直觉（“这个版本感觉更好”）转变为证据（“这个版本在商定指标上超过基线”）
• 利益相关者协作：从利益相关者角度捕获成功和可靠性标准，并使权衡对每个人显式且可衡量

以Databricks + MLflow为评估核心和评估优先的代理架构，Zepto实现了

成本与效率

• 80%以上的工单由AI代理在人工监督下完全管理
• 支持成本或工单减少65%
• 回收期不到一个月

质量与声誉

• 客户满意度（CSAT）提高20%
• 准确率提高8%

性能与运营

• 开发周期加快3倍
• 解决时间加快4倍

构建框架：用于信心和控制的双循环

该方法的核心是双循环模型：开发循环和生产循环，由质量门连接。本节概述这些循环如何协同工作。

• 开发循环：在这里设计、迭代和评估代理版本，以便在部署前建立信心
• 生产循环：在这里监控实时行为，并检测故障，以在运营中保持信心
• 反馈循环：将生产故障反馈回开发，以丰富下一次迭代
• 质量门：控制循环之间的移动，决定哪些版本允许进入生产，哪些被推回开发以进行更好的迭代

这些循环共同确保代理在控制下构建和运营。任何故障都会被自动捕获、反馈和纠正。因此，代理在信心中构建，在控制中运行，并不断改进以更好地处理生产故障。双循环是我们框架的核心。

阶段0：启用跟踪：设计出透明代理

每个代理调用都会发出一个丰富的执行跟踪，捕获提示、完成、检索文档、工具调用、延迟和决策路径，因此整个工作流在细粒度级别上是可观察的，而不仅仅是输入和最终输出。

我们使用MLflow的混合方法实现了这一点。一行代码，mlflow.<library>.autolog()，启用自动跟踪和@mlflow.trace 装饰器添加自定义跨度在我们需要更多细节的任何地方。跟踪以OpenTelemetry跨度的形式实时发出，具有唯一ID，因此它们保持可组合性，而MLflow与Unity Catalog的集成将日志集中到Delta表中。

阶段1：设置评估维度：支柱和门

启用跟踪后，下一步是从每个利益相关者的角度捕获“这个代理的成功对你意味着什么？”我们将此形式化为评估支柱，每个支柱都有特定的门。

这将多方利益相关者的辩论变成了一个共享的、可衡量的契约。智能体将根据对各利益相关者真正重要的维度进行评估。典型的支柱包括客户体验、运营效率、风险与合规以及财务影响；每个支柱都有明确的数字阈值，在部署前必须满足这些阈值。

阶段2：黄金数据集：可靠性的基石

黄金数据集是在开发循环中评估智能体行为的唯一真实来源。它应该：覆盖智能体必须处理的正常、边缘和失败情况。

• 包括不同利益相关者的期望，以示例形式捕获。
• 用元数据（场景类型、业务线、风险级别等）进行丰富注释。
• 每个利益相关者都共同参与塑造数据集，例如安全团队提供对抗性模式（如提示注入、身份攻击、数据外泄尝试）的示例，确保可靠性在现实场景和普通使用中都能得到衡量。

黄金数据集

数据集是一种活资产，其质量会随时间累积。开发与生产准确性之间的差距本身就是一个数据集质量信号。Zepto在六个月内稳步投资于MLflow评估数据集，从500个示例和8个百分点的开发-生产准确性差距，到2,000个示例和2个百分点的差距，再到5,247个示例和0.4个百分点的差距。在数据集质量上每花费一小时，大约能节省十小时的生产调试时间，因此金标准数据集成为10倍乘数：每次生产故障都会将失败痕迹添加到金标准数据集中，使系统对所有未来版本更加健壮。

阶段3：自动化提示工程：自动生成与自动优化

与其手动编写提示，我们使提示工程成为数据驱动、自动化的过程。提示设计是工程师花费大部分时间的关键阶段，而且提示的质量对智能体输出的质量和性能具有不成比例的影响力。使用 MLflow 提示优化，我们注册初始提示，针对用于门禁部署的相同评分器生成并优化变体，自动运行 A/B 评估，并部署最佳结果。优化器使用强大模型进行反思，并使用较便宜的模型在生产中对候选评分，使得搜索本身在保持成本意识的情况下进行。这减少了手动提示实验，提高了准确性，并确保提示改进在进入生产之前始终基于黄金数据集进行衡量。

使用MLflow 提示优化阶段4：定义评分器并设置 AI 陪审团

。

内置评判者 - 开箱即用的评分器自定义评判者 - 创建定制评判者以满足独特需求基于代码的评分器 - 用于确定性指标，如工具延迟或工具调用次数。

• 我们仅在对人类判断必要的场合使用基于 LLM 的评分器，而在确定性逻辑足够的情况下依赖简单规则。我们将评判者对照人工标签进行校准，达到 80-90% 的一致率，并对高风险决策使用多个评判者。评分器和设置 AI 陪审团
• 阶段5：设置模型可选性模型可选性是一个关键组件，它允许框架通过仅更改 Databricks 中的模型名称，在多种专有和开源模型之间切换。这意味着开发循环可以持续搜索更好的组合，以找到成本、性能和质量的更优权衡。
• 模型可选性阶段6：构建自动回归

我们自动化回归评估，创建重复、可配置、可扩展的开发循环。任何变更都会触发自动回归，并在可靠性得到保证时进行自动部署。

将所有这些结合在一起，一个典型的变更遵循以下路径：

有人更改智能体的逻辑、提示或模型。评估工作流自动触发，包含三个输入：新智能体版本、黄金数据集和当前生产基线。系统运行评估并在所有评分器和支柱上产生指标。

它的性能是否至少与生产基线一样好或更好？

如果是，新版本将提升到生产环境；如果不是，则被拒绝，现有智能体继续服务流量。

评估 100% 的流量成本高昂，但简单的 10% 均匀采样会漏掉大多数边缘情况。我们实施了分层采样，评估采样率取决于高价值客户、新功能或最近更改的流程、负面情绪或高升级风险，以及基于图像的或易欺诈的交互。这产生了有效的 18-20% 的评估样本（每天约 14,400 个轨迹），成本可控，同时捕获 45-60% 的边缘情况，并在 4-6 分钟内检测出问题。

1. 财务逻辑令人信服：与均匀采样方法相比，分层方法在发现每个问题的审查成本上降低了 86%，同时边缘情况检测提高了 9 倍，使质量保证过程显著更加高效和可扩展。
2. 评估结果写入 Delta 表，并通过 Databricks 中的仪表板和警报规则展示。关键警报（每 5 分钟检查一次）监控意图准确率下降、接地违反、高升级风险和 P95 延迟超限。高/中警报跟踪同理心退化、成本激增、工具故障率、CSAT 趋势、欺诈检测率和多模态延迟。这使得对 AI 智能体的 SRE 式操作成为可能：快速检测、分类和缓解。
3. 可组合架构的智能体栈
4. 新版本是否满足所有门槛（成本、质量、性能等）？
5. 它是否至少与生产基线表现一样好或更好？

如果是，则新版本被提升到生产环境；如果不是，则被拒绝，现有代理继续服务流量。

第7阶段：构建生产循环 - 设置实时安全网

评估100%的流量是昂贵的，但朴素的10%均匀采样会错过大多数边缘情况。我们实施了分层采样，其中评估采样率取决于高价值客户、新功能或最近更改的流程、负面情绪或高升级风险，以及基于图像或易欺诈的交互。这使得有效评估样本达到18-20%（每天约14,400条轨迹），成本可控，同时捕获45-60%的边缘情况，并在4-6分钟内检测到问题。

财务逻辑令人信服：与均匀采样方法相比，分层方法在识别每个问题的审查成本上降低了86%，同时边缘情况检测提高了9倍，使质量保证过程显著更高效和可扩展。

评估结果写入Delta表，并通过Databricks中的仪表板和警报规则展示。关键警报（每5分钟检查一次）监控意图准确性下降、接地性违规、高升级风险和P95延迟超标。高/中警报跟踪同理心退化、成本飙升、工具失败率、CSAT趋势、欺诈检测率和多模态延迟。这实现了AI代理的类似SRE的操作：快速检测、分类和缓解。

可组合架构代理堆栈

一个好的评估框架在代理架构设计得可观察且可分解时效果会好得多。Zepto 的支持栈正是围绕这一理念构建的。

客户查询（无论是聊天还是图片形式）首先经过一个代理编排器和路由器。路由器可以随时转交给人工。在其之下，系统分为两类代理。

垂直代理是具有单一明确定义意图领域的专家：

• WIMO：用于订单跟踪和预计到达时间（ETA）问题
• Missing（缺货）：用于未送达或部分订单
• Expiry（过期）：用于过期包装商品
• Returns（退货）：用于退款状态和处理
• Quality（质量）：用于不新鲜或腐烂的农产品
• 无法付款：用于钱包、促销和支付失败
• 通用（作为后备）

水平代理作为跨用例的监督层：

• 图片去重：捕捉跨索赔重复使用的图片
• 商品匹配与图片篡改检测：验证上传的图片是否与目录商品匹配且未被编辑

这种分离带来双重好处。可以针对每个垂直代理计算指标，如 WIMO 意图 F1 或 Expiry OCR 准确率；水平代理可以围绕跨领域问题（如欺诈精确率、图片重用和篡改检测）进行评估。每个部件都可以单独和组合测量。

框架的实际应用

当你首次将AI代理投入生产时，感觉就像派一个才华横溢但不可预测的实习生去代表你的公司。你给他们指示并希望一切顺利，但在他们承受压力之前，你基本上是盲目飞行。

早期我们意识到，传统软件监控对AI完全没用。代理可以有完美的服务器正常运行时间和零错误，同时对失望的客户重复完全相同的错误答案。对工程师来说，仪表板看起来是绿色的。对客户来说，这是一场灾难。

我们知道不能靠希望来扩展我们的AI。我们需要一个评估框架，不仅跟踪AI是否在说话，还要真正理解它在说什么、在哪里失败。以下故事就是该框架发挥价值的关键时刻，证明一个好的评估系统能解锁全新的产品功能。

故事1：从未改变的预计到达时间（ETA）

一个生产问题导致骑手被困在交通中，而代理不断回复“10分钟内到达”，因为它读取了缓存数据。客户询问订单在哪里，得到同样的答复，再次询问，又得到同样的答复。

token计数器（监控token使用量）和警告评分器在5分钟内捕捉到重复和高升级风险，暴露了静止骑手且ETA未变的痕迹。这触发了一个规则变更。如果骑手静止超过10分钟，代理现在会给出诚实的更新，并主动提供取消和全额退款，而不是重复过时的承诺。

一个由在线评估发现的洞察变成了一个完整的功能线：延迟取消、在骑手短缺时主动建议取消、如果在一定时间内没有分配骑手则自动取消，以及对高价值客户的无理由取消。

故事2：在客户之前捕捉取消回归

当Zepto在WIMO代理中添加取消处理时，模型开始混淆三个截然不同的意图：“我的订单在哪里”、“我想取消”和“我的订单是否被取消了”。

开发阶段的MLflow评估立即捕捉到了这一点。整体意图准确率从约92.1%下降到87.4%，新WIMO_CANCEL和WIMO_CANCEL_STATUS的F1较差。由于针对黄金数据集的回归出现，没有客户看到它。提示优化和数据集更新将整体准确率恢复到约94.2%，比原始基线更好，取消API的工具调用F1近乎完美。该功能上线，零回滚。

故事3：根据人类判断校准多模态代理

农产品质量评分确实很困难，人们并不总是意见一致。同一张蘑菇图片可能被一个评分者评为2/5，另一个评为3/5。我们用Cohen's Kappa来衡量这种分歧，并将其视为我们的可靠性上限，因为没有模型能比它学习的人类更一致。

我们还发现AI避重就轻。在没有干预的情况下，它会堆积3分以避免做出艰难决定，而人类评分集中在4和5。所以我们不仅仅在于平均值的误差最小化。我们匹配了人类评分分布的形状。在线评估还暴露了系统未设计处理的情况，比如凝结的牛奶虽然作为包装商品上架，但需要像新鲜农产品一样评判；以及照片无法显示的味觉或嗅觉投诉，这些都被路由到单独的路径。

这个校准的基线使我们能够决定每种产品类型使用哪些模型、如何根据人类判断迭代提示，以及基于真实代理性能调整每个客户细分的退款政策。

故事4：封堵滥用后门

退款滥用尝试使用目录图片、编辑过的照片和跨索赔重复使用的图片。多模态评估管道通过预处理检查图像模糊、亮度和分辨率，用OCR验证，然后使用三个视觉模型组成的陪审团加上共识规则来决定自动批准或人工审核。在之上还叠加了模糊检测、截图检测、重复检测、图片与SKU匹配、图片与所述原因检查以及送货证明验证。

我们在大规模运行中学到的经验

大规模运营这个框架教会了我们一些超越即时零售业通用的原则。

• 永远不要优化单一指标我们曾经孤立地追求意图准确性，结果客户满意度（CSAT）下降了。单独优化意图使意图准确性提升了5个百分点，但延迟增加了133%，客户满意度（CSAT）下降了0.4个百分点。一个复合的多目标评分使意图提升了3个百分点，延迟仅增加17%，客户满意度（CSAT）提升了0.2个百分点。多种视角、LLM 评判、基于规则的检查、人工标注和生产指标共同构成真相。这种冗余是保险，而非浪费。
• 黄金数据集是基础。尽早投资，以达到数千个多样化、高质量的样本。跟踪开发与生产准确性之间的差距，并调整直至收敛。开发-生产差距是数据集质量的信号，而非神秘现象。
• LLM 评判者需要校准。将评判者视为具有自身评估的模型。测量它们与人类的一致性，对高风险情况使用集成，并随着基础模型的变化重新校准。
• 抽样策略比抽样率更重要。朴素均匀抽样成本低但盲目。针对高风险流程的分层抽样每美元能带来一个数量级的问题检测改进。
• 从第一天开始自动化反馈循环。检测、标注、重新训练、部署和监控都应自动化，每次失败都会自动丰富下一轮训练。对我们来说，这每月节省了约155小时，相当于两名全职工程师重新专注于功能开发。
• 将评估视为产品界面。仪表板和指标被支持、产品、欺诈和运营团队使用。它们必须可解释且可操作，而不仅仅在技术上正确。

对智能体构建者的建议

对于在 Databricks 上构建智能体系统的组织，Zepto 的经验表明以下路线图：

• 从跟踪开始，而不仅仅是模型：强制使用共享的跟踪模式，并将所有内容记录到 Delta
• 将 MLflow 评估设为 CI/CD 中的强制关卡：未在约定指标上超过基线不得部署
• 将黄金数据集构建为资产，拥有自己的 KPI（规模、开发-生产差距、边缘案例覆盖率）
• 使用 LLM 作为评判者评估人类今天评判的内容（质量、同理心、接地性），但需校准并限于适当的部分
• 尽早实施分层抽样和实时警报；事后补充操作可见性成本高昂
• 架构智能体可以是垂直的（专业化）加上水平的（监督），这样你可以在隔离和组合中评估它们

结论

从实验性演示到关键任务基础设施的转变中，主要约束已从原始模型能力转向系统保证。Zepto 的经历表明，通过将评估确立为基础开发原语，组织可以可靠地扩展智能体，以管理每天跨多模态输入的数万个复杂交互，并具备关于质量、成本和风险缓解的严格保证。

Databricks 和 MLflow 作为这一演进的基本基础，提供基于 Unity Catalog 和 Delta 的以跟踪为中心的数据基础设施，以及可扩展评估、自动提示优化和无缝 CI/CD 集成。这种可组合的栈，加上模型的可选性，使团队能够为每个特定任务在性能与支出之间微调平衡。

最终，竞争优势在于将评估视为核心 AI 基础设施而不是最终检查的战略决策。生产规模智能体的蓝图不再是秘密；Zepto 和 Databricks 提供了答案。现在的挑战是采用的速度。在快速发展的 AI 环境中，领导者不会是那些等待完美确定性的人，而是那些从一开始就为可靠性而设计的人。

对于在必须赢得信任的生产环境中构建智能体的开发者，这些相同的基础构建块已在 Databricks 和 MLflow 3 中准备就绪。定义下一个前沿的组织将是那些今天开始评估优先旅程的组织。

在 Databricks 上构建智能体 开始使用 MLflow 评估和监控