18 | 如何搞定A/B测试？
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
A/B测试在产品决策中扮演着关键角色，但在进行A/B测试时需要注意避开一些陷阱。首先，进行A/B测试前必须明确要测试什么、如何测试，以及用什么指标来衡量。其次，A/B测试是验证因果性的唯一途径，相关性和因果性是不同的概念，而A/B测试可以帮助验证因果关系。此外，需要明确哪些情况适合A/B测试，比如在某些情况下，无论新功能上线后的数据怎么样，都要发布这个新功能，就不需要进行A/B测试。另外，样本数量太少也不适合进行A/B测试。因此，A/B测试的样本规模取决于产品实验组和对比组之间的区别。文章通过实例和经验分享，强调了A/B测试的重要性和适用性，以及如何避免A/B测试中的陷阱。 文章还提到了短期数据与长期数据的区别，强调了新功能的短期新鲜感和长期生态系统影响的重要性。举例说明了短期数据看似良好，但长期数据却不尽如人意的情况，强调了在判断一个功能是否值得发布时，需要等待短期新鲜感消退后再进行评估。此外，建议在决定发布新产品时，保留一个长期的对比实验组，以观察产品对整个生态系统的影响，并适时作出调整。 综上所述，本文强调了A/B测试的重要性和注意事项，以及新功能短期和长期数据的重要性，为产品经理提供了有益的指导和思考。
《硅谷产品实战 36 讲》，新⼈⾸单¥59
全部留言(18)
- 最新
- 精选
酥问：在进行测试后，针对实验组进行过的改动，如，给实验组增加了加好友功能，对照组没有加，而最终结论是加好友功能并没有带来日活的增加，针对实验组所增加的功能，在实验结束后，要砍掉吗？还是需要进行其他处理？作者回复: 如果你们的这个功能的目的是为了带来日活的增加，那么这就没有拿到你们的目的，也没必要要这个功能 如果你们这个功能的目的是其他的目的，并且达到的其他的目的那么虽然没有带来日活的增加，只要没有减少，也是可以发布。这个还是取决于你们产品的目的。
2018-05-316
老鹰为什么做不到你这么优秀∠(｀ω´*)敬礼作者回复: 不敢当。多做就好啦！
2018-05-313
huyang问：根据上面那个朋友的问题，想问一个延伸的相关的问题。同一个AB测试可以一次测多个指标吗？比如引入邀请好友功能，同时测试日活和新增用户数。最多可以同时测几个指标呢？还是一次只能测一个？😄作者回复: 可以 你可以测很多指标 但是你要知道在一个指标提高 一个下降的时候哪个重要
2018-06-01- huyang能不能谈一下计算样本数量相对公式？多大的样本能得出statistically significant 的AB测试结果
作者回复: 统计相关性有个公式的 你是可以根据样本数量计算的 confidence interval，t score， z score 你可以搜一下具体的公式 我没法回复那些分数线之类的字符嘿嘿
2018-06-01 - daisy现在团队是没有ab 机制，没办法判断版本功能对数据的实际影响，推动建立ab机制被老板说太浪费时间，每次版本迭代之后分析功能效果都异常艰难
作者回复: 这个要看你们想继续做这个产品多久 想不想长期投资
2018-05-31 - 酥问：在选取样本时，应该注意哪些事项，影响实验目标的其他因素是否应降到最低，也就是实验组与对照组除了验证指标不同外，其他因素是否应尽可能相似
作者回复: 我们有专门的系统能确保是随机样本。其实市面上有一些ab测试软件也可以帮助控制
2018-05-31 
吴依恬InnerSoul受用作者回复: 多谢支持！
2018-05-31- Geek_d0847a以为是 A/B测试 流程实现方法，感觉讲的都是废话2020-08-114
Raymond吕请问老师，经常收到某些app的内测邀请，请问这个是属于AB测试的范围吗？如何确定对照组，一般的依据是什么？2020-01-033
种菜的渔民同样的问题，A\B的测试用户如何确定，包括样本的数量和测试周期2019-06-272