18 | 如何搞定A/B测试?
曲晓音

A/B 测试,是用两组及以上随机分配的、数量相似的样本进行对比,如果实验组和对比组的实验结果相比,在目标指标上具有统计显著性,那就可以说明实验组的功能可以导致你想要的结果,从而帮你验证假设或者做出产品决定。
小到一个按钮用红色好还是用黑色好,大到有没有朋友圈这个功能对微信日活数的影响,都可以通过 A/B 测试来解决。
你可能会认为,A/B 测试很简单啊,只要需要对比一个功能添加前后的指标变化,我就可以进行 A/B 测试。但是,错误往往隐藏在你认为最不容易出错的地方,因此如果你想最大程度地发挥 A/B 测试的作用,你就需要绕过一些“坑”。
公开
同步至部落
取消
完成
0/2000
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《硅谷产品实战 36 讲》,新⼈⾸单¥59
《硅谷产品实战 36 讲》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(17)
- 最新
- 精选
- 酥问:在进行测试后,针对实验组进行过的改动,如,给实验组增加了加好友功能,对照组没有加,而最终结论是加好友功能并没有带来日活的增加,针对实验组所增加的功能,在实验结束后,要砍掉吗?还是需要进行其他处理?
作者回复: 如果你们的这个功能的目的是为了带来日活的增加,那么这就没有拿到你们的目的,也没必要要这个功能 如果你们这个功能的目的是其他的目的,并且达到的其他的目的那么虽然没有带来日活的增加,只要没有减少,也是可以发布。这个还是取决于你们产品的目的。
6 - 老鹰为什么做不到你这么优秀∠(`ω´*)敬礼
作者回复: 不敢当。多做就好啦!
3 - huyang问:根据上面那个朋友的问题,想问一个延伸的相关的问题。同一个AB测试可以一次测多个指标吗?比如引入邀请好友功能,同时测试日活和新增用户数。最多可以同时测几个指标呢?还是一次只能测一个?😄
作者回复: 可以 你可以测很多指标 但是你要知道在一个指标提高 一个下降的时候哪个重要
- huyang能不能谈一下计算样本数量相对公式?多大的样本能得出statistically significant 的AB测试结果
作者回复: 统计相关性有个公式的 你是可以根据样本数量计算的 confidence interval,t score, z score 你可以搜一下具体的公式 我没法回复那些分数线之类的字符嘿嘿
- daisy现在团队是没有ab 机制,没办法判断版本功能对数据的实际影响,推动建立ab机制被老板说太浪费时间,每次版本迭代之后分析功能效果都异常艰难
作者回复: 这个要看你们想继续做这个产品多久 想不想长期投资
- 酥问:在选取样本时,应该注意哪些事项,影响实验目标的其他因素是否应降到最低,也就是实验组与对照组除了验证指标不同外,其他因素是否应尽可能相似
作者回复: 我们有专门的系统能确保是随机样本。其实市面上有一些ab测试软件也可以帮助控制
- 吴依恬InnerSoul受用
作者回复: 多谢支持!
- Geek_d0847a以为是 A/B测试 流程实现方法,感觉讲的都是废话4
- Raymond吕请问老师,经常收到某些app的内测邀请,请问这个是属于AB测试的范围吗?如何确定对照组,一般的依据是什么?3
- 种菜的渔民同样的问题,A\B的测试用户如何确定,包括样本的数量和测试周期2
收起评论