Amplitude纳入Statsig：构建AI产品验证栈

在过去一年里，实验领域发生了很多事。一年前，我那家提供仓库原生实验功能的公司 Eppo 被 Datadog 收购。一年后，我那家名为 Amplitude 的公司，正在欢迎 Statsig、它的客户及其品牌加入其平台。

Statsig 的团队打造了一款强大的产品。他们很早就意识到，工程师需要更好的工具来发布功能和理解他们所交付内容的价值。他们为功能标志、实验、指标和发布控制开发了一种构建者优先的方法，这显然在市场上引起了共鸣。

在 Amplitude，我们和 Statsig 一样相信，实验是核心基础设施，也是产品构建方式的基础组成部分。在 AI 时代，这一点甚至更为重要。与 Statsig 合作是一个机会，可以加速我们对产品开发未来的共同愿景。

产品构建方式已经改变

产品开发的瓶颈已经转移。过去是写代码。但现在，随着大多数开发者使用 AI 编码工具，代码生成只会越来越快。产品经理在写代码，设计师在构建并交付完整的用户体验流程。把东西做出来的代码门槛已经完全崩塌。

但发布一项新功能与知道它对用户有益之间的差距实际上变得更大了。团队交付的速度比以往任何时候都快，虽然外发的变更数量激增，但验证这些变更的基础设施却没有跟上。当交付速度提高时，实验流程中现有的瓶颈会进一步加剧。

对于像 LLM 这样的非确定性产品，判断你交付的东西是否正确变得更加困难。无论你是在做聊天机器人、推荐引擎还是其他东西，非确定性输出每次都会给你不同的响应。单元测试无法给你所需的信心。实验可以。

此外，构建这些产品的人未必是五年前运行实验的那批人。能够编写代码或发布新功能的人数激增，但深入理解如何验证这些功能的人数却没有增加。现代实验工具需要支持范围广泛得多的 AI 构建者。

为 AI 产品开发构建验证栈

在内部，我们正在思考实验的“2.0”需要变成什么。

1.0 版本是一个已知的循环：用功能标志发布，用实验衡量影响，用分析理解使用情况。这个循环仍然有效。但构建 AI 产品的团队需要另一层验证和严谨性。你需要离线评估、实时实验和持续监控协同工作。

实验 2.0 的起点是离线评估。与其手动检查几个输出并寄希望于最好的结果，不如在任何内容进入生产环境之前，让提示词和模型跑过数千个带标签的测试用例。目标是尽早发现回归并避免生产环境中的意外。

假设你在运行一个 AI 支持工单分类器。你有一个提示词，将工单分诊到账单、技术支持或销售。你更新了提示词以更好地处理边缘情况。新版本真的更好吗？离线评估让你可以针对一千个工单的带标签数据集运行两个版本，用评分器（包括在字符串匹配不适用的情况下使用 LLM-as-a-Judge）对它们评分，并准确看到新版本在哪里胜出、在哪里出现回归。你在任何用户看到变更之前快速迭代这个循环。

从那里开始，你进入渐进式发布，包括逐步部署和即时回滚，并与服务指标、业务 KPI 和 LLM 特有的可观测性信号相关联。如果延迟飙升或错误率上升，系统会在问题扩散之前做出响应。

然后是线上实验。在实时流量上进行 A/B 测试并提供统计置信度。影子模式评估根据生产场景对模型输出进行评分，而不让用户承担风险。每一次发布都应该衡量影响，而不仅仅是降低风险。

贯穿整个 2.0 循环的是 LLM 可观测性，它在单一视图中提供实时日志记录、监控和异常告警，并与业务指标和用户参与度并列展示。当你的 AI 产品出问题时，你不应该需要四个仪表盘才能弄清问题出在哪里。

Amplitude + Statsig 将更快实现这一目标

Statsig 和 Amplitude 早已在朝着同一个未来构建；在那个未来里，功能标志、实验和分析不是你不得不拼凑起来的独立产品，而是一个覆盖完整产品开发生命周期的系统中的各个层。

这一合作加速了这一愿景。Amplitude 一直在构建Agent Analytics，将可观测性和评估与产品分析连接起来，而 Statsig 的路线图则一直专注于构建 AI Configs 等能力（无需重新部署即可控制提示词和模型参数），以及将实验直接嵌入 AI 编码工作流的 MCP 服务器集成。

我们将继续投资这两个平台，重点是在云和仓库部署中维护现有的 Statsig 平台，并在过渡期间支持现有客户。我们还在制定一个共同的路线图，推动两个平台共同前进。

以交付的速度进行实验

一年前，没有人知道评估循环需要如何为概率性产品而改变。现在我们知道了。AI 编码助手生成的变更数量超过任何团队能够手动验证的程度。由 LLM 驱动的产品引入了非确定性行为，这要求持续的评估和验证。随着产品变得越来越复杂，交付一个糟糕变更的成本不断攀升。

借助 AI 表现更出色的团队，未必是那些发布功能最多的团队，而是那些能弄清楚哪些做法奏效、并把这一答案反馈到下一次决策中的团队。这形成了一个加速产品交付速度的反馈循环。

Amplitude 花了多年时间让实验变得更快、更易用。Statsig 花了多年时间让它更强大、更贴近开发者原生方式。如今，我们正在共同构建验证层，以弥合交付与理解价值之间的差距。

试用 Statsig，探索仓库原生实验的未来。在几分钟内创建一个免费的 Statsig 账户，或者获取实时演示。

（附言：是的，这对我们来说也有点奇怪。）