打造实验文化：Spotify与Einride的实战经验分享

实验是产品开发的重要组成部分。对大小和复杂程度各异的产品变更进行假设、测试和报告的能力，有助于确保你正在构建正确的产品。但要做到这一点，你需要培养一种文化，在这种文化中实验在公司层面受到重视并获得资源。在最近的一次产品俱乐部活动中，我们听取了Spotify的网络分析与实验负责人Ashit Kumar以及Einride的高级产品经理Philip Knape的分享。Einride提供数字、电力和自主航运技术。两位演讲者都分享了他们在创造这种文化方面的想法和经验，即在直接产品团队内部展示价值，并能够将其传递给更广泛的业务部门。以下是一些主要学习要点的总结。

如何证明价值

产品团队对实验的价值非常熟悉，但向更广泛的业务部门证明这种价值可能是一个挑战。解决这个问题很重要，否则可能难以获得扩大测试范围所需的必要资源，最终达到你追求的KPI。对Ashit而言，证明这种价值的关键是创建一个反馈循环。他的团队运行A/B测试程序，以优化不同组合的多个市场的转化漏斗。虽然团队目前使用内部产品进行实验，但他们计划转向外部平台。通过进行测试并不断反馈清晰的指标，你可以获得更多信任来扩展你的计划，形成一个结果和更大扩展的循环。

对于Einride的Philip来说，重要的是能够以清晰传达他数据分析结果的方式与领导层分享。为此，他使用了Amplitude的Notebook功能，在那里他可以轻松分享关键指标以及深入分析。

何时使用实验？

选择进行实验时总是会有成本。无论是直接团队的时间还是你需要的额外资源。对Ashit来说，如果变更非常明显，应立即实施，因为等待也会带来成本。但在许多（如果不是大多数）情况下，对于需要更改什么以及这些更改应该是什么会存在争论。这就是实验的关键所在。

对于Philip来说，用户访谈可以解释某人为什么做某事，但自我报告也可能包含不准确之处，与数据对比时会显现出来。定性数据收集方法，如用户访谈，可以增加一层数据可能无法提供的细节——这些方法当然有其用武之地，尤其是在试图理解用户体验中更视觉方面的内容时。A可能认为他们因某些颜色或定价而被促使购买，但查看数据时我们看到的是另一个故事。

在许多情况下，需要在用户反馈和数据之间取得平衡来做出决策。Ashit建议采用75%科学和25%艺术的方法，即你所做的一切都有数据支持，并有统计证据。然而，视觉方面，如设计变更，必须根据对客户最有利的方式来评估。

优先考虑什么？

虽然一次性进行许多更改并下大赌注很诱人，但应谨慎使用这种策略。在需要重新确立产品市场契合度时，它有其一席之地。但要真正了解你的影响，渐进式变更通常是最好的。

对于Philip来说，起点应与公司的整体目标和愿景相关联。你想达到什么目标？这与你想要运行的实验如何对齐？这样你可以确保你的产品朝着正确的方向前进。

Ashit强调在任何给定时间选择一个实验来运行的重要性。这可能具有挑战性，因此为了选择先专注什么，他使用ICE方法：影响、信心、努力。他指出，如果一次推出太多更改，就无法隔离真正产生影响的更改。

报告失败

作为健康的实验文化的一部分，适应失败和不确定的结果很重要。平均而言，你可能预计大约三分之一的实验是有结论的。那么，你能从其余的实验中学到什么（如果有的话）？

一个从失败中学习的强有力例子是，Ashit测试在结账时添加解释性文字，以说明为什么我们需要客户的信用卡详细信息。他们的假设是这会提高转化率，但测试没有成功——文本没有显著增加试用转化。虽然文本确实给客户带来了安心，但这并不是影响他们是否转化的主要因素。这次失败告诉他们，在他们所有的180个市场中实施这一更改不会带来任何收入增长。

最终思考

培养一种让实验蓬勃发展的文化，将使产品团队能够做出有计划的、渐进的更改，展示结果。要做到这一点，你需要知道何时使用实验，如何优先考虑要实验的内容，以及如何以清晰的方式与业务其他部分分享结果。

点击下方加入实验演示