A/B 测试从 0 到 1
张博伟
FLAG 资深数据科学家
2349 人已学习
立即订阅
登录后,你可以任选2讲全文学习
推荐试读
换一换
02|统计基础(下):深入理解A/B测试中的假设检验
03|确定目标和假设:好的目标和假设是什么?
05|选取实验单位:什么样的实验单位是合适的?
课程目录
已完结/共 20 讲
开篇词 (1讲)
开篇词|用好A/B测试,你得这么学
统计篇:A/B测试的前提与理论基础 (2讲)
01 | 统计基础(上):系统掌握指标的统计属性
02|统计基础(下):深入理解A/B测试中的假设检验
基础篇:从0到1,带你建立规范的A/B测试流程 (7讲)
导读 | 科学、规范的A/B测试流程,是什么样的?
03|确定目标和假设:好的目标和假设是什么?
04|确定指标:指标这么多,到底如何来选择?
05|选取实验单位:什么样的实验单位是合适的?
06 | 选择实验样本量:样本量越多越好吗?
07| 分析测试结果:你得到的测试结果真的靠谱吗?
08 | 案例串讲:从0开始,搭建一个规范的A/B测试框架
进阶篇:怎么在A/B测试的实践中避坑 (7讲)
09 |测试结果不显著,要怎么改善?
10|常见误区及解决方法(上):多重检验问题和学习效应
11 | 常见误区及解决方法(下):辛普森悖论和实验组/对照组的独立性
12|什么情况下不适合做A/B测试?
13|融会贯通:A/B测试面试必知必会(上)
14|举一反三:A/B测试面试必知必会(下)
15|用R/Shiny,教你制作一个样本量计算器
结束语 (3讲)
结束语|实践是检验真理的唯一标准
结课测试题|这些A/B测试的知识你都掌握了吗?
加餐|试验意识改变决策模式,推动业务增长
A/B 测试从 0 到 1
15
15
1.0x
00:00/00:00
登录|注册
开通超级会员可免费学习本课程,还可解锁海量内容免费学特权。

结束语|实践是检验真理的唯一标准

你好,我是博伟。
在过去的这些年里,我一直在和 A/B 测试打交道,研究的时间越久,越能体会出其中蕴含的深意。所以在设计课程大纲时,结束语这一讲的标题,我毫不犹豫地选择了“实践是检验真理的唯一标准”。这句话很朴素,却是我这么多年和 A/B 测试朝夕相处的真实体会。
首先,我想和你聊聊为什么我在课程中会反复强调实践的重要性。
A/B 测试本身,就是一种偏经验和方法论的工具。掌握了我在课程中讲的这些统计原理、规范流程后,也不能保证你在实践中如鱼得水,游刃有余。毕竟听到的经验和方法,想要深刻理解,还是要拿到实际业务场景中反复试炼,才能不断迭代和完善。
即使是我讲过的一些常见误区和问题,以及一些隐形的坑点,由于业务环境的千差万别,你在实践时大概率还是会遇到,而且还会遇到其他的坑。不过不要害怕,因为有些“弯路”非走不可,正是在和“弯路”的博弈中,你才能摸透 A/B 测试中的招式和套路,精进业务。
A/B 测试带给公司和团队的不光是持续提升的结果,更重要的是实验意识。团队中的成员提出一个想法,究竟是突发奇想,还是真正可靠的呢?能不能有效落地实施呢?我们完全可以把这个想法通过 A/B 测试放在实际场景中检验,最后得出具有说服力的结论。正所谓大胆猜想,小心求证,不断调整,快速更迭
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/1000字
划线
笔记
复制
02|统计基础(下):深入理解A/B测试中的假设检验
03|确定目标和假设:好的目标和假设是什么?
05|选取实验单位:什么样的实验单位是合适的?
11 | 常见误区及解决方法(下):辛普森悖论和实验组/对照组的独立性
13|融会贯通:A/B测试面试必知必会(上)
加餐|试验意识改变决策模式,推动业务增长
开通超级会员免费畅看本课程
开通会员
该文章仅可免费阅读部分内容,如需阅读完整文章,请开通超级会员或单独购买本课程。
登录 后留言

精选留言(10)

  • 贤者时间
    想问一个题外的问题,最近有个争论,就是短视频APP双栏好还是单页好,我在想,为什么快手平台不自己AB测试一下呢?测试结果应该是很显然的吧

    作者回复: 这个其实就是很重大的产品交互界面改变,就像我在第12节课中讲的,不太适合做AB测试,因为这个改变基本上是把UI完全改变,如果做AB测试的话太明显了,尤其是像快手这么大的流量,很容易就会成为争议话题,这种一般还是要通过用户研究来寻找答案。

    2021-01-12
    5
  • 张浩_house
    平时做开发比较多,每篇文章都看了一看 ,还是有许多内容,许多概念没有消化。看到老师为了弄清楚一些概念,看了许多书、视频材料,有些还是十遍百遍的去翻阅,更加激励自己不要浅唱则止,看不懂、内容不清楚不要放弃,多发时间去重复学习、多思考多理解,不断尝试

    作者回复: 哈哈对重要内容要重复学习直到内化掌握为止!

    2021-01-12
    4
  • 贤者时间
    老师有公众号或者知乎专栏吗?想去关注一下

    作者回复: 哈目前还没有,等有了再更新,目前可以关注我知乎:https://www.zhihu.com/people/zhang-bo-wei-19

    2021-01-12
    2
  • 西西
    看到老师说“统计课本学习了不下 20 遍”又给了自己一些信心,每次看统计学的内容总是学了忘忘了学,一度怀疑自己不适合做这行,看来需要更努力吖

    作者回复: 我之前也经常有‘自己不适合做这行的怀疑’,不过后来发现只要肯花时间,没有什么是掌握不了的,加油!

    2021-08-14
    2
  • 那时刻
    感谢老师的分享,收益颇多。老师提到的实践的确很重要,即使我们知道的坑点,感觉自己不会再踩坑了,但是一实践,往往会再次跌进去....

    作者回复: 踩坑不可怕,自己踩坑才能印象深刻,最怕的是踩坑了还不知道自己踩坑了,识别坑很重要!

    2021-01-14
    1
  • Elaine
    给产品经理提个建议,调查问卷手机号不能填国外手机号(虽然我不一定中奖,中了也收不到haha,但我想填反馈啊)。准备面试一家心仪的公司,JD赫然写着A/B test。 找了好多A/B资料都不是特别满意,这个还是我无意间在极客上翻到的,差点就错过了。看到老师说统计书看了20多遍,笑了。看来不是我一个人学了忘忘了学= = 还有极客的网页版加载时间真的太久了,请把加载时间作为护栏指标嘛。。。
    2021-10-20
  • Ed_Lee™
    满满的干货,感谢
    2021-08-31
  • Geek_30a04e
    老师,我们在做一个实验,降低因为A原因导致的取消率,我们拿了10个城市做实验,但是有2个城市就是一直不显著,其他城市都是显著的;而且这个2个城市是量级较大的城市,他各种原因的分布也是不稳定的;导致这种情况会有什么样的情况呢
    2021-08-31
  • Seiris
    感谢老师,我开始接触ab测试,很实用👍

    作者回复: 谢谢Seiris!
    很高兴本专栏能够帮到你,你觉得好的话也欢迎推荐给身边需要的人哈哈!

    2021-06-17
    2
  • 雷大锤抡不动大锤
    能感受到博伟老师的用心~谢谢分享~

    作者回复: 谢谢大锤!
    也希望你能从本专栏中收获相关的知识和经验!

    2021-01-26
收起评论
10
返回
顶部