02｜统计基础（下）：深入理解A/B测试中的假设检验
假设检验 (Hypothesis Testing) 是什么？
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
本文从推荐系统的案例出发，详细介绍了A/B测试中假设检验的基本原理和相关概念，包括零假设和备择假设、单尾检验和双尾检验、以及不同的检验方法选择。作者强调了在A/B测试中更推荐使用双尾检验的原因，并解释了在A/B测试中选择双样本检验的合理性。此外，文章还介绍了P值法和置信区间法在假设检验中的应用。通过实例分析，读者可以快速了解A/B测试中假设检验的重要性和实际应用，以及如何选择合适的检验方法进行数据分析和推断。整体而言，本文为读者提供了深入了解A/B测试中假设检验的基本知识和实际操作的重要参考资料。文章内容涉及的统计概念虽然难以理解，但通过实践和思考，读者可以逐渐掌握这些理论知识，并将其应用于实际问题的解决中。
《A/B 测试从 0 到 1》，新⼈⾸单¥59
全部留言(25)
- 最新
- 精选
孙小军关于对p值的理解，想请问老师： “当我们在 A/B 测试中观测到“实验组和对照组指标不同”的概率（P 值）很大，比如 70%，那么在零假设成立时，我们观测到这个事件还是很有可能的。“ 不太理解这句，零假设成立的意思是实验组和对照组指标相同，但是观测得到两组的指标不同的概率是70%，这时为什么要接受零假设呢？作者回复: 你好，因为P值的前提就是零假设成立，所以我把这个前提放在句子中间了，所以我在句子的开头省略了这个前提，没省略的话句子应该是“在零假设成立的前提下，当我们在 A/B 测试中观测到“实验组和对照组指标不同”的概率（P 值）很大，比如 70%，那么在零假设成立时，我们观测到这个事件还是很有可能的。” 这样也就是说零假设成立的前提下还有70%的概率发生，而且我们也确实观测到了它的发生，说明这个前提是合理的，所以接受。
2020-12-241813
豆丁儿过来查缺补漏的，老师很专业，讲的很清楚作者回复: 希望助你在AB测试之旅越走越远！
2021-04-062- Dan老師您好，双尾检验可以帮助我们全面考虑变化带来的正、负面结果，那如何檢驗是正面還負面結果？一般來說來我們希望實驗組(Ex:新的推薦演算法)的結果比較好，為何AB test不常使用单尾检验?
作者回复: 你好！ 实验组有没有效果是由实验结果来决定的（比较实验组和对照组的评价指标的不同），检验在这里只是告诉你这个‘不同’是不是统计显著的，这个‘不同’可以是正的也可以是负的。 正如你说的，大多数情况我们是‘希望’实验组结果更好，但是我们并没有100%确定（如果100%确定的话也就不需要实验了嘛），所以还是会有一定概率实验结果和我们预期不符，双尾检验的话会更加保险一些。
2021-03-2522 
西西如果不只两个实验可以用t或z检验吗？一个对照组两个实验组，用实验组分别和对照组做假设检验吗？作者回复: 对的！你说的是A/B/n测试，这里面有不止一个实验组，这是后就要用实验组分别和对照组做假设检验。
2020-12-162
Geek_63ee39请问老师，原文中提到：“二项分布的总体方差的计算不需要知道总体中各个数据的值，可以通过样本数据求得总体方差”。比如“对某一内容曝光50次，其点击次数“这个随机变量服从二项分布，做了一次试验，观测到有5个人点击，那么总体方差等于多少，怎么计算？作者回复: 你好，这里的话点击率p=5/50=0.1, 那么总体方差就等于p*(1-p).
2021-01-1651
皓昊老师，采用python 进行置信区间法检验，得到ci_low,ci_upp两个参数，这两个参数都是区间值，如下。这两个参数的区间该怎么理解呢。 ci_low,ci_upp=proportion_confint(counts,nobs,alpha=0.05,method='normal') print('ci_low:{0},ci_upp:{1}'.format(ci_low,ci_upp)) ci_low:[0.053833 0.04707099],ci_upp:[0.05815011 0.05117941]作者回复: 你好，python的这个函数是计算出两个比例的两个置信区间，所以输出有4个数，建议用R的prop.test, 得出的结果是两个比例差值的置信区间。
2020-12-1321- Geek_0e2f02t检验就是小样本情况下的z检验，能用Z检验的地方都可以用t检验，可以这么理解吗，老师
作者回复: 你好，实践中可以这么来用，但是这种理解不太对哈，Z检验和T检验的根本区别是总体方差是否已知， 在样本量很大时两种检验得到的结果其实是相似的。
2020-12-131 - Kendal后面会讲如何控制 alpha和beta么？比如不是常见的5%，20%。是通过样本数量来控制么？
作者回复: 嗯嗯在第9节课中会讲到如果控制power（1-beta)的！
2020-12-1031 
Shehla非常好，逻辑清晰，地铁上听着也很方便，感谢编辑回复: 博伟老师的声音是不是也很好听^_^
2020-12-101
不知太平老师，你好。我工作中在做AB测试的时候，定的目标是实验组比对照组目标转化率高30%，实际发现30%这个数字是否合理很难确定。是不是说如果用假设检验验证的话，就不用定这个数值，只需要判断两组是否显著不同，如果是，且实验组转化率比对照组高，就可以认为实验组成功了？作者回复: 你好，其实工作中还是要对两组的提升有个大概的合理估计，这个可以从相关指标的波动范围，历史上AB测试所达到的提升效果等等这些来判断，因为在估算样本量时也需要知道提升大致是多少来帮助我们决定实验要跑多久。
2021-08-112
