Amplitude发布AI分析智能体评测框架，四类任务得分76%
Amplitude Global Agent
要解决的问题分析型 Agent 如果只返回一段结论，用户无法判断它查了什么、排除了哪些假设，也难以区分描述事实与真正完成诊断。
功能模块
- 图表上下文
- 可展开执行步骤
- 数据概览
- 根因假设
- 证据与后续行动
关键交互
- 从已有图表直接追问异常原因
- 在 Working 区查看分类、分组、关联实验等执行步骤
- 阅读数据概览与根因假设，再沿证据继续核验
- 通过追问推进预测或行动建议
官方说明
- Amplitude 将分析任务分为描述性、诊断性、预测性和规范性四类，并定义八步 Agent 工作流。
- 官方示例把 Agent 的执行步骤、数据概览、根因假设和支持证据放在同一回答中。
- 其公开评估使用人类定义标准和 LLM-as-judge，Global Agent 综合得分为 76%。
DataHot 解读
- 把执行步骤折叠在答案上方，既能让普通用户先读结论，也给专业用户留下过程审查入口。
- 用“发生了什么—为什么—接下来怎样”组织输出，比按图表类型堆结果更符合分析任务的推进方式。
收益与代价
- 展示过程能提升透明度，但过长的步骤列表会让用户误把活动数量当作分析质量。
- 厂商自评提供了结构化标准，但仍需要外部任务集和人工复核来控制偏差。
可以借鉴
- 复杂分析回答应把结论、根因假设、证据和执行过程分层呈现，而不是揉成一段解释。
- 评估 Data Agent 时，要按用户任务成熟度拆分成功标准，不能只测 Text-to-SQL 是否执行。
不宜照搬
- 代表图是官方标注过的产品示例，部分注释不是实际运行时界面。
- 76% 为 Amplitude 自建任务集上的结果，不能作为跨产品横向排名。
“官方说明”仅记录公开材料明确表达的事实；“DataHot 解读”是基于界面与流程的产品判断。
DataHot 速览
Amplitude 联合其 AI 产品经理发布面向企业分析场景的 AI 智能体评测框架，将能力拆分为描述性、诊断性、预测性和规范性四类分析任务。其 Global Agent 综合得分 76%，相比六个月提升 7 倍以上，其中描述性 80%、诊断性 76%、预测性 63%、规范性 50%。文章还以仓库级 Text-to-SQL 最佳性能 9% 作为基线，展示智能体在多查询生产工作流上的优势。该框架为行业提供了可复用的评估语言，帮助团队区分营销话术与真实能力。
为什么值得关注：提供了一套可复用的AI分析智能体任务评测方法，并用具体分数和基线对比展示能力边界，对选型和自建评估有直接参考价值。
本文目录 18 节
译文
AI 逐段翻译本文由以下人员共同撰写：Jacob Newman，Amplitude 首席 AI 产品经理。
目录
每个供应商都声称他们的分析平台“由 AI 驱动”。但自动生成的图表标题与智能系统之间存在着巨大差距，后者可以调查数据、诊断根本原因并推荐后续行动。没有清晰的基准，买家无法区分真正的能力与噪音。
我们引入了一种基于任务的评估方法，用于评估 AI 分析代理在四类基础问题上的表现：描述性、诊断性、预测性和规范性。
Amplitude 的 Global Agent 在所有四类任务中的总体得分为 76%，这比六个月前构建和迭代时提高了 7 倍以上。它在描述性和诊断性分析方面表现出色，在预测性和规范性分析方面具备新兴能力。
图 1. Global Agent 在所有分析任务中的总体成功率，显示随时间持续改进。9% 的基线代表了最佳数据仓库 Text-to-SQL 性能 在多查询生产级工作流上的表现。
通过发布我们的框架和评分，我们为行业建立了共同语言，帮助团队严格评估解决方案，并提升客户对 AI 分析代理必须做什么的期望。
关键要点
- AI 分析代理应基于其有效执行现实世界分析任务的能力进行评估。
- 最佳 AI 分析代理必须在这四类分析任务上取得成功：描述性、诊断性、预测性和规范性。
- 描述性分析：80%
- 诊断性分析：76%
- 预测性分析：63%
- 规范性分析：50%
定义 AI 分析代理
AI 分析代理利用统计分析和大型语言模型，自动从行为数据和业务数据中提取见解。这些代理旨在理解自然语言问题、查询相关数据、应用正确的分析工作流，并可靠地解释结果和后续步骤。
成熟的 AI 分析代理应向最终用户提供真实、有意义的见解。我们将“见解”定义为单一数据驱动的观察，能加深对用户、产品、活动或流程的理解，并促进更好的决策。
响应分析任务的八步代理工作流程
强大的 AI 分析代理在执行分析任务时应遵循以下八个步骤。
| 步骤 | 描述 |
| 1. 理解自然语言问题 | 正确地从通俗语言（包括模糊或多部分问题）中解释用户意图和分析目标，并将它们路由到适当的分析类型 |
| 2. 查询正确的数据源和分类体系 | 对于给定问题，选择正确的数据源、事件模式和指标定义，并标记歧义或缺失 |
| 3. 构建正确的分析工作流 | 自动应用正确的图表类型、时间粒度、分段、统计检验和转换，无需手动设置或干预 |
| 4. 执行 分析子程序 | 系统地调查跨越分段、时间、功能、活动和仪器相关的因素，以识别和比较可能的根本原因 |
| 5. 使用现实世界、领域相关的上下文 | 在适当时，使用相关的业务和产品上下文（如季节性、发布、活动或行业趋势）来解释模式 |
| 6. 呈现有意义、可操作的见解 | 超越描述，解释重要性，提出假设，并强调影响，同时清晰传达置信度和不确定性水平 |
| 7. 透明、可靠地呈现结果 | 通过将陈述链接到图表、表格和来源，清晰展示输入、推理和证据；避免无支持的陈述和幻觉 |
| 8. 支持规范性行动和迭代 | 将见解转化为具体、上下文相关的后续步骤，并在多步骤工作流中支持自然跟进，无需重复上下文。 |
AI 分析任务
强大的 AI 分析代理必须处理广泛的问题，从基本的“发生了什么？”到复杂的“为什么发生？”和“我们应该做什么？”调查。
我们定义了四个关键任务，反映代理应能回答的分析问题类型：
- 描述性分析： 发生了什么？
- 诊断性分析： 为什么发生？
- 预测性分析： 将会发生什么？
- 规范性分析： 我们应该做什么？
图 2. 按任务复杂性划分的四种 AI 分析任务
这些任务定义了 AI 代理应减少的人工分析工作的不同类别，按复杂性递增排序。一个只回答描述性问题的代理仍然迫使团队手动调查原因、评估影响并确定后续步骤，将最困难的分析工作推回给用户。
对于每个任务，我们定义了用业务语言表达的典型问题以及优秀 AI 回答的特征。这将框架建立在真实分析师的工作方式上，同时对于评估 AI 分析平台的产品、营销和数据领导者来说保持直观。
描述性分析任务
AI 分析代理至少应能通过描述跨指标、时间段和分段的用户行为和业务绩效来回答“发生了什么？”。此任务确定代理能否从数据中提取见解并以通俗语言传达。
| 描述性分析 | |
| 典型问题 | 我们上周有多少活跃用户，与之前时期相比如何？ 最新版本发布后转化率如何变化？ 新用户最常使用哪些功能？ 收入按套餐、地区或获取渠道如何分解？ 每个漏斗步骤中用户流失的百分比是多少？ 不同客户群体的关键指标有何差异？ |
| 好的AI回答应该是什么样 | 用通俗语言清晰总结关键指标和趋势 推断并应用正确的时间范围、细分、筛选和比较 突出数据中的有意义趋势和异常 在问题中重复使用一致的指标定义和内部分析方法 呈现适当的图表来支持解释 在推理中融入适当的业务背景 |
此任务验证AI分析代理是否理解基础数据、分类法和指标定义，并能将自然语言问题转化为准确的分析。如果代理在描述性分析上遇到困难，则其系统还不够健壮。
诊断分析任务
AI分析代理还应能够通过多步分析、探索多个假设并识别可能的根本原因来回答“为什么会发生这种情况”。此任务评估代理能否超越描述提供解释，而无需用户手动调查。
| 诊断分析 | |
| 代表性问题 | 为什么上周周活跃用户下降了8%？ 是什么导致周二转化率的异常飙升？ 为什么注册量增加而激活率保持不变？ 为什么一个队列的留存明显优于另一个？ 是什么阻止用户在重新设计后完成入门流程？ 为什么本季度平均交易规模减少了？ 为什么发布后流量增加，但收入没有增加？ |
| 好的AI回答应该是什么样 | 用清晰的量化验证显著的变更或异常 通过调查跨细分、时间、渠道、队列或功能的多个潜在驱动因素，系统地进行根本原因分析 呈现关于一个或几个主要影响因素的假设 区分真实行为变化和潜在数据或仪器问题 用证据支持的清晰根本原因叙述总结发现 说明当现有数据无法确定明确根本原因时 |
此任务验证AI分析代理能否系统调查原因、排除虚假信号并返回有证据支持的根本原因。如果代理能描述发生了什么但不能解释为什么，则不是真正的AI分析。
预测分析任务
AI分析代理应能够通过基于历史模式、行为信号和当前趋势预测未来结果来回答“将会发生什么”。此任务评估代理能否产生基于数据而非推测的可信预测。
| 预测分析 | |
| 代表性问题 | 哪些用户在未来30天内最可能流失？ 哪些早期行为预示着免费到付费的转化？ 最近的入门实验可能对激活产生什么影响？ 哪些客户群体具有最大的收入扩展潜力？ 在当前条件下，我们下个月可能增加多少订阅？ 来自我们最新营销活动的用户的预期生命周期价值是多少？ |
| 好的AI回答应该是什么样 | 明确定义预测结果和时间范围 使用相关历史模式和行为信号生成预测 传达影响预测的主要因素和置信水平 当数据不足或信号较弱时避免预测 |
真正的预测能力不仅仅是流失评分。AI分析代理应预期未来结果、沟通预测驱动因素、提供置信区间，并随着条件变化进行调整。
处方分析任务
在最高成熟度级别，AI分析代理应能够通过推荐基于描述性、诊断性和预测性洞察的行动来回答“我们应该做什么”。此任务评估代理能否将分析转化为可操作的下一步。
| 处方分析 | |
| 代表性问题 | 哪些行动能最有效地减少高风险用户的流失？ 我们应如何优先考虑功能以最大化留存或收入影响？ 我们应该针对哪些客户群体以提高转化效率？ 对入门流程的哪些更改最能提高激活率？ 基于预计ROI，我们应该如何调整获取策略？ |
| 好的AI回答应该是什么样 | 提供上下文特定的指导以帮助用户实现明确或隐含的目标 融入用户提供的业务背景和指标目标 将建议直接与观察到的行为、诊断原因和预测结果联系起来 尽可能估计潜在影响或权衡 在系统工具能力范围内主动执行操作 |
处方分析能力指导决策制定，并通过将建议直接与历史用户行为和预测结果联系起来，帮助团队确定下一步行动。寻找能够提出数据支持的行动、明确预期影响并沟通潜在风险或权衡的AI分析代理。
在AI分析任务上评估Amplitude的全球代理
为了设定行业基准，我们对Amplitude的全球代理在所有四个任务上进行了评分，通过提问真实分析工作流程中的代表性问题。我们使用LLM作为评判的方法，根据人类定义的标准评估每个回答。分数表示成功捕获所需见解的回答百分比。
图3. 全局代理按任务的成功率，突显其在描述性和诊断性分析任务中的优势，并展现出在预测性和规范性任务中的新兴能力
总体而言，我们预期大多数AI分析代理在描述性分析任务上表现尚可，但诊断性任务的成绩会急剧下降。全局代理在两者上都展现出实力，通过一致的诊断推理可靠地解释发生了什么以及原因。其他AI分析代理无法达到这一诊断标准，更不用说提供预测性或规范性功能了。全局代理在这两个领域都展现出新兴能力。
分数总结
| 分析任务 | 描述 | 评估示例 | Amplitude分数 |
| 描述性 | 使用一致的指标和业务逻辑，准确描述用户、产品和收入方面发生了什么。 | 上周有多少用户点击了“升级”按钮，与之前相比如何？ | 80% |
| 诊断性 | 通过调查多个驱动因素、细分和潜在数据问题，解释变化发生的原因。 | 为什么最新版本发布后，从免费试用转为付费升级的转化率下降了？ | 76% |
| 预测性 | 使用历史模式和行为信号，预测接下来会发生什么。 | 哪些用户最有可能在未来30天内升级？哪种行为最能预测这种转化？ | 63% |
| 规范性 | 根据基础分析、预期影响和权衡，推荐行动方案。 | 哪些行动最能提高高风险用户的升级转化率？ | 50% |
描述性分析分数
分数：80%
全局代理在描述性分析中得分最高。该代理可靠地回答跨用户行为、产品使用和收入增长的“发生了什么”。这包括准确选择指标和分类、应用时间范围和比较，以及执行正确的分析。
全局代理通过确保描述性问题得到清晰准确的回答，而无需用户配置图表，从而减少手动分析工作。
诊断性分析分数
分数：76%
全局代理在诊断层面得分很高。该代理可以通过探索多种假设并返回有证据支持的根因解释来调查变化发生的原因。
这一任务反映了全局代理在多步骤、多维分析和行为推理方面的优势。这是许多AI分析工具仍依赖手动调查或表面解释的领域。
预测性分析分数
分数：63%
全局代理的高级预测能力持续发展。该代理能够在特定场景中预测未来结果，这是许多AI分析工具或手动分析无法做到的。但预测分析仍是一个积极投资和精炼的领域。
对于这一任务，我们的重点是构建可信、基于有意义信号且对不确定性透明的预测。
规范性分析分数
分数：50%
规范性分析代表了AI分析的前沿。全局代理可以在许多情境中提出基于数据的下一步行动，甚至自己执行某些操作。但我们并不认为我们的规范性能力已经“解决”。
我们的方法强调通过将建议与观察到的行为、预期影响和权衡联系起来，改进决策和行动。这一任务反映了行业的发展方向以及Amplitude正在积极构建的内容。
AI分析评估实践
本次评估定义了描述性、诊断性、预测性和规范性分析任务中“优秀”的标准。为使内容具体化，我们提供了示例问题及全局代理的解答。
这些示例共同说明了如何评估AI分析代理，以及高分AI生成的洞察是什么样的。
评估：示例问题和高分回答
下表展示了涵盖用户行为、产品使用、漏斗转化和营销绩效的一组代表性提问，以及全局代理对这些问题的回答。
为清晰起见，我们在表中总结了全局代理的非确定性回答，完整的分析和图表已链接。
| 分析问题 | 全局代理回答摘要 |
| 在引导过程中有多少用户流失？ | 最大的流失发生在引导流程和账户创建之间——88.6%参与引导的用户未完成注册。 完整回答 |
| 在美国，将商品添加到购物车到结账的转化率是多少？ | 在过去的30天内，美国用户从添加商品到购物车到结账的转化率为39.5%。这意味着大约每10个添加商品到购物车的美国购物者中就有4个会继续结账。 完整回答 |
| 我们的着陆页在十一月有多少访客？ | 您的着陆页在2025年11月获得了220,570位独立访客。11月26日单日流量最大，有19,454位访客。 完整回答 |
| 按流量来源分解我们着陆页的访客。 | 流量来源分布： 1. Google - 122,460位访客 (36%) 2. Instagram - 92,907位访客 (27%) 3. 直接访问 - 87,231位访客 (26%) 4. Facebook - 84,935位访客 (25%) 5. Twitter - 25,941位访客 (8%) 6. Bing - 7,205位访客 (2%) 完整回答 |
| 哪些营销活动带来了最高价值的客户？ | 付费搜索带来的客户价值最高，每位用户收入（RPU）为170.12美元，平均订单价值为109.92美元——显著优于其他渠道。 完整回答 |
| 在过去90天内，我们的周活跃用户趋势和留存率如何？ | 在过去90天内，您的周活跃用户相对稳定在约11.5万至14万之间，在10月底和12月初出现高峰，随后12月中旬下降——可能反映了季节性模式或假日行为。 完整回答 |
| 移动端与网页端用户在购买行为上有何不同？ | 网页端用户贡献了最多的购买量，每日独立购买者约2.4k–2.9k，相比之下iOS（1.4k–1.7k）和Android（约1.2k–1.5k）。所有平台均呈现一致的周末下降趋势，表明不同设备上的购物模式相似。 完整回答 |
| 哪个平台的平均订单价值最高？ | 所有三个平台的平均订单价值几乎相同，每笔购买约80–83美元，在过去90天内保持高度一致。iOS偶尔出现略高于网页端和Android的峰值，但差异极小。 完整回答 |
高分AI洞察解析
虽然评估用例展示了AI分析代理应能回答的问题类型，但下图展示了强大的AI生成回答应具备的特点。
我们分解了一个Global Agent示例，从问题到输出再到后续操作，并重点介绍了区分“黄金标准”洞察与表面回答的基本要素。附有完整注释的图示可在此查看。
图4. Global Agent回答预览
树立一流AI分析代理的标杆
随着产品和市场数据日益复杂，AI分析代理的价值在于能够减少人工分析工作，挖掘有意义的洞察，并支持整个业务中更好的决策和行动。
本次评估提供了清晰、基于任务的框架，通过定义分析任务中“优秀”的标准来评估AI分析代理是否达到该水平。
使用该框架评估Amplitude的Global Agent，凸显了我们通过准确的数据解读、多步骤推理和基于证据的解释，可靠地回答发生了什么和为什么的能力。评估还展示了Global Agent在预测性和规范性分析方面的新兴能力，我们目前正在积极建设这些能力。
对于在拥挤市场中游走的买家，本次评估提供了一个实用框架来指导您的决策，并展示了一个成熟的AI分析代理应能做什么的清晰示例。Amplitude一流的AI分析平台提供分析严谨性，并使团队能够更快行动，有信心地基于洞察采取行动。
随着AI分析的不断发展，表面自动化与真正分析智能之间的差距只会越来越大。我们致力于引领这一领域前进，并邀请人们在X上分享他们的想法。
了解更多关于Amplitude AI代理如何在我们的网络研讨会中改变团队构建产品的方式。
致谢
本次评估是工程、产品和设计领域跨职能紧密协作和专业知识的成果。感谢以下人员的贡献：Adam Lohner, Adam Struck, Amogh Dikshit, Andrew Chou, Ashkan Aghdai, Avery Chan, Ben Feigin, Brian Cooper, Brian Giori, Chamila Amithirigala, Chris Yu, Eric Carlson, Eric Kim, Frank Lee, Henry Arbolaez, Jacob Newman, Jake McKibben, James Evans, Janaki Vivrekar, Jin Wan, Jingshu Zhao, Jimmy Wilson, Karan Johar, Kevin Wu, Larry Xu, Marvin Liu, Nhi Dao, Nirmal Utwani, Peyton Rose, Pranjal Joshi, Ram Soma, Richard Fang, Ryan Busk, Shawn McKay, Skylar Givens, Steven Cheng, Tommy Keeley, Tyler Wanlass, Vinay Ayyala, Vinay Goel, Will Newton
这篇内容对你有用吗？
反馈只用于改善内容筛选，不等同于收藏