AI让实验项目失速，如何修复

本文由 Amplitude 亚太及日本区解决方案工程负责人 Ken Kutyn 合著。

你上个季度运行的测试很可能比前一年更多。大多数团队都是如此。而且大多数团队认为，这就是一个健康的实验项目该有的样子。

但 AI 改变了这一点。

想法的产生基本上已经零成本。你的团队可以在午饭前生成 50 个测试想法，下午构建出变体，到当天结束就能拿到发布/回滚的建议。既然速度已经不花任何成本，它也就说明不了任何问题。

领先的团队正在问一个更难的问题：我们真的学到东西了吗？

在构建实验项目多年之后，我可以告诉你，在 AI 原生时代，要扩展一个实验项目需要三件根本性的事情：深思熟虑地筛选想法、把信任构建到结果之中，以及将实验从 UI 扩展到新的界面。

速度不是唯一的指标

多年来，速度一直是成熟的实验团队用来证明其项目在发挥作用的方式。运行更多测试，发掘更多想法，找到意想不到的成功者。

更快就是更好，对吧？但速度作为北极星指标已经不再意味着它过去的含义了。

借助 AI，过去需要数天或数周才能完成的实验工作流中，有相当大的一部分现在只需几分钟：

• 构思：任何人都可以对一个落地页截图，分享给自己选择的智能体，要求它给出 5 个测试想法。
• 构建测试：智能体可以快速生成 JavaScript 来编写自定义测试变体。
• 文档编写：MCP 连接器使得引入设计资产、Confluence 页面和待办事项工单，并在几秒内生成报告成为可能。

但运行更多测试已不再是一个健康项目的标志。最优秀的实验团队现在会问自己：

• 这些测试想法是否建立在我们的用户行为和摩擦（定量和定性）之上？
• 发布大量低质量测试对用户体验的负面影响是什么？
• 我们从这些测试中学到了什么吗？

好消息是，你不需要自己构建这套基础设施。现代实验平台已经让触达这一行为基础变得显著更便宜、更快速，它将实验数据、会话回放、问卷调研和用户分群整合在一组统一的事件之下，因此结果背后的“为什么”不再是一个单独的研究项目。

当测试假设来自观察到的用户行为时，它们更有可能对用户体验产生积极影响。

验证你的学习成果

获得一个有数据支撑的假设只是等式的一半；相信它所说明的东西是另一半。

多年来，实验中最困难的部分是埋点。获取干净的数据、设置测试、等待显著性。AI 正在压缩所有这些环节，以至于新手测试者现在可以把曝光和转化计数粘贴到智能体里，几秒钟内就能得到发布/回滚的建议。

问题就在这里。

一个通用的智能体不了解你的数据分类体系、你的实验历史，也不了解“转化”在你的产品中究竟意味着什么。没有语义知识的速度不是分析，而且可能导致错误的模式。

成熟的团队在根据结果采取行动之前会问更难的问题：

• 我们能信任这个实验收集的数据吗？
• 一个直接运行在我们数据仓库上的通用智能体，是否对我们的实验和数据分类体系有足够的语义知识，从而能产出可靠的结果？
• 如果这个测试出了问题，我们能识别受影响的用户并回滚该功能吗？
• 我们是否知道还有哪些指标意外地受到了我们测试的影响，而无需重复整个实验？
• 我们如何通过定性分析从一个不具备统计显著性的测试中学习？

在平庸的基础之上加一层薄薄的 AI 是不够的。可信任的快速研究需要在一个数据质量受到监控的基础上运行实验，让智能体带着上下文工作，而不只是处理数字。而所有这些都需要在一个统一的平台中实现，在这个平台里，实验数据、会话回放、问卷调研和用户分群共享同一套事件分类体系。

最优秀的实验团队不会把一次已发布的测试当作循环的终点。他们把它当作下一个循环的起点。

新界面是下一个前沿

当今大多数实验最佳实践都是在落地页、CTA 和结账流程的世界中形成的。那个世界已不复存在。

当你的产品是一个智能体、一个聊天机器人或一个工作流副驾驶时，真正重要的变量已经转移到提示词措辞、模型选择等方面。其中任何一项的微小变化都可能对结果产生巨大的影响。由于没有“最佳实践”，你不能安全地照搬某家航空公司的智能体模式，并假定它适用于电商购物车或 B2B SaaS 的引导流程。

这正是大多数实验项目撞墙的地方。

如果你的实验平台无法在你数据已经存在的地方对接它，那么你要么是在乱扔 spaghetti 碰运气，要么是在为了运行单个测试而搭建昂贵的管道。仓库原生实验让你可以直接基于现有基础设施定义指标、分配处理组并分析结果，而无需复制你的技术栈或强制每个实验都经过单一的埋点层。

对于在基础模型之上构建产品的团队，仓库原生确保你可以用过去只用于 UI 测试的同样严谨度，对提示词、模型、流程和智能体行为运行实验。而且你无需为此重建埋点层就能做到。

有几个问题值得带回给你的团队：

• 你是在对提示词、模型和智能体行为做实验，还是只做 UI 调整？
• 你的工程实验和营销实验是否共享相同的指标和用户定义？
• 当一个功能处于功能开关之后时，非工程团队是否仍能测试它的呈现方式和文案？
• 你能否对存在于你数据仓库中的数据运行实验，而无需重建你的埋点层？
• 你当前的定价和打包方式对一款 AI 优先的产品是否仍然合理，而你是否真的在测试这个假设？

AI 世界中的实验

AI 从根本上改变了实验方式。

当创意生成变得免费时，速度不再是健康、规模化实验项目的信号。当智能体能在一瞬间交付分析时，可信的结果比快速的结果更重要。当你的产品是一个非确定性智能体时，需要测试的界面数量会超出大多数团队仍在使用的平台所能承载的范围。

像 Statsig 这样的现代平台提供了一个易于使用、统一的地方，让你可以将实验作为一个持续运行的操作系统来开展。Statsig 帮助团队以足够快的速度、足够广的范围和足够深的深度进行测试，从而真正产生影响。