18 | 如何搞定A/B测试？

曲晓音

A/B 测试，是用两组及以上随机分配的、数量相似的样本进行对比，如果实验组和对比组的实验结果相比，在目标指标上具有统计显著性，那就可以说明实验组的功能可以导致你想要的结果，从而帮你验证假设或者做出产品决定。
小到一个按钮用红色好还是用黑色好，大到有没有朋友圈这个功能对微信日活数的影响，都可以通过 A/B 测试来解决。
你可能会认为，A/B 测试很简单啊，只要需要对比一个功能添加前后的指标变化，我就可以进行 A/B 测试。但是，错误往往隐藏在你认为最不容易出错的地方，因此如果你想最大程度地发挥 A/B 测试的作用，你就需要绕过一些“坑”。

公开

同步至部落

取消

完成

0/2000

荧光笔

直线

曲线

笔记

复制

AI

深入了解
翻译
英语
中文简体
中文繁体
法语
德语
日语
韩语
俄语
西班牙语
阿拉伯语
解释
总结

仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《硅谷产品实战 36 讲》，新⼈⾸单¥59

立即购买

登录后留言

全部留言(17)

最新
精选

酥
问：在进行测试后，针对实验组进行过的改动，如，给实验组增加了加好友功能，对照组没有加，而最终结论是加好友功能并没有带来日活的增加，针对实验组所增加的功能，在实验结束后，要砍掉吗？还是需要进行其他处理？
作者回复: 如果你们的这个功能的目的是为了带来日活的增加，那么这就没有拿到你们的目的，也没必要要这个功能如果你们这个功能的目的是其他的目的，并且达到的其他的目的那么虽然没有带来日活的增加，只要没有减少，也是可以发布。这个还是取决于你们产品的目的。

6
老鹰
为什么做不到你这么优秀∠(｀ω´*)敬礼
作者回复: 不敢当。多做就好啦！

3
huyang
问：根据上面那个朋友的问题，想问一个延伸的相关的问题。同一个AB测试可以一次测多个指标吗？比如引入邀请好友功能，同时测试日活和新增用户数。最多可以同时测几个指标呢？还是一次只能测一个？😄
作者回复: 可以你可以测很多指标但是你要知道在一个指标提高一个下降的时候哪个重要


huyang
能不能谈一下计算样本数量相对公式？多大的样本能得出statistically significant 的AB测试结果
作者回复: 统计相关性有个公式的你是可以根据样本数量计算的 confidence interval，t score， z score 你可以搜一下具体的公式我没法回复那些分数线之类的字符嘿嘿


daisy
现在团队是没有ab 机制，没办法判断版本功能对数据的实际影响，推动建立ab机制被老板说太浪费时间，每次版本迭代之后分析功能效果都异常艰难
作者回复: 这个要看你们想继续做这个产品多久想不想长期投资


酥
问：在选取样本时，应该注意哪些事项，影响实验目标的其他因素是否应降到最低，也就是实验组与对照组除了验证指标不同外，其他因素是否应尽可能相似
作者回复: 我们有专门的系统能确保是随机样本。其实市面上有一些ab测试软件也可以帮助控制


吴依恬InnerSoul
受用
作者回复: 多谢支持！


Geek_d0847a
以为是 A/B测试流程实现方法，感觉讲的都是废话

4
Raymond吕
请问老师，经常收到某些app的内测邀请，请问这个是属于AB测试的范围吗？如何确定对照组，一般的依据是什么？

3
种菜的渔民
同样的问题，A\B的测试用户如何确定，包括样本的数量和测试周期

2

收起评论