硅谷产品实战 36 讲
曲晓音
Facebook 产品经理
42659 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 40 讲
开篇词 (1讲)
硅谷产品实战 36 讲
15
15
1.0x
00:00/00:00
登录|注册

18 | 如何搞定A/B测试?

短期数据 vs 长期数据
需不需要A/B测试
验证因果性的唯一途径是A/B测试
要测什么、如何测
A/B测试需要注意的问题

该思维导图由 AI 生成,仅供参考

A/B 测试,是用两组及以上随机分配的、数量相似的样本进行对比,如果实验组和对比组的实验结果相比,在目标指标上具有统计显著性,那就可以说明实验组的功能可以导致你想要的结果,从而帮你验证假设或者做出产品决定。
小到一个按钮用红色好还是用黑色好,大到有没有朋友圈这个功能对微信日活数的影响,都可以通过 A/B 测试来解决。
你可能会认为,A/B 测试很简单啊,只要需要对比一个功能添加前后的指标变化,我就可以进行 A/B 测试。但是,错误往往隐藏在你认为最不容易出错的地方,因此如果你想最大程度地发挥 A/B 测试的作用,你就需要绕过一些“坑”。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

A/B测试在产品决策中扮演着关键角色,但在进行A/B测试时需要注意避开一些陷阱。首先,进行A/B测试前必须明确要测试什么、如何测试,以及用什么指标来衡量。其次,A/B测试是验证因果性的唯一途径,相关性和因果性是不同的概念,而A/B测试可以帮助验证因果关系。此外,需要明确哪些情况适合A/B测试,比如在某些情况下,无论新功能上线后的数据怎么样,都要发布这个新功能,就不需要进行A/B测试。另外,样本数量太少也不适合进行A/B测试。因此,A/B测试的样本规模取决于产品实验组和对比组之间的区别。文章通过实例和经验分享,强调了A/B测试的重要性和适用性,以及如何避免A/B测试中的陷阱。 文章还提到了短期数据与长期数据的区别,强调了新功能的短期新鲜感和长期生态系统影响的重要性。举例说明了短期数据看似良好,但长期数据却不尽如人意的情况,强调了在判断一个功能是否值得发布时,需要等待短期新鲜感消退后再进行评估。此外,建议在决定发布新产品时,保留一个长期的对比实验组,以观察产品对整个生态系统的影响,并适时作出调整。 综上所述,本文强调了A/B测试的重要性和注意事项,以及新功能短期和长期数据的重要性,为产品经理提供了有益的指导和思考。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《硅谷产品实战 36 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(18)

  • 最新
  • 精选
  • 问:在进行测试后,针对实验组进行过的改动,如,给实验组增加了加好友功能,对照组没有加,而最终结论是加好友功能并没有带来日活的增加,针对实验组所增加的功能,在实验结束后,要砍掉吗?还是需要进行其他处理?

    作者回复: 如果你们的这个功能的目的是为了带来日活的增加,那么这就没有拿到你们的目的,也没必要要这个功能 如果你们这个功能的目的是其他的目的,并且达到的其他的目的那么虽然没有带来日活的增加,只要没有减少,也是可以发布。这个还是取决于你们产品的目的。

    2018-05-31
    6
  • 老鹰
    为什么做不到你这么优秀∠(`ω´*)敬礼

    作者回复: 不敢当。多做就好啦!

    2018-05-31
    3
  • huyang
    问:根据上面那个朋友的问题,想问一个延伸的相关的问题。同一个AB测试可以一次测多个指标吗?比如引入邀请好友功能,同时测试日活和新增用户数。最多可以同时测几个指标呢?还是一次只能测一个?😄

    作者回复: 可以 你可以测很多指标 但是你要知道在一个指标提高 一个下降的时候哪个重要

    2018-06-01
  • huyang
    能不能谈一下计算样本数量相对公式?多大的样本能得出statistically significant 的AB测试结果

    作者回复: 统计相关性有个公式的 你是可以根据样本数量计算的 confidence interval,t score, z score 你可以搜一下具体的公式 我没法回复那些分数线之类的字符嘿嘿

    2018-06-01
  • daisy
    现在团队是没有ab 机制,没办法判断版本功能对数据的实际影响,推动建立ab机制被老板说太浪费时间,每次版本迭代之后分析功能效果都异常艰难

    作者回复: 这个要看你们想继续做这个产品多久 想不想长期投资

    2018-05-31
  • 问:在选取样本时,应该注意哪些事项,影响实验目标的其他因素是否应降到最低,也就是实验组与对照组除了验证指标不同外,其他因素是否应尽可能相似

    作者回复: 我们有专门的系统能确保是随机样本。其实市面上有一些ab测试软件也可以帮助控制

    2018-05-31
  • 吴依恬InnerSoul
    受用

    作者回复: 多谢支持!

    2018-05-31
  • Geek_d0847a
    以为是 A/B测试 流程实现方法,感觉讲的都是废话
    2020-08-11
    4
  • Raymond吕
    请问老师,经常收到某些app的内测邀请,请问这个是属于AB测试的范围吗?如何确定对照组,一般的依据是什么?
    2020-01-03
    3
  • 种菜的渔民
    同样的问题,A\B的测试用户如何确定,包括样本的数量和测试周期
    2019-06-27
    2
收起评论
显示
设置
留言
18
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部