如何快速上手A/B测试？
极客时间编辑部
讲述：丁婵大小：6.68M时长：04:52
来源：阿里技术（ID：ali_tech）
A/B 测试相信你或多或少做过，那么你对 A/B 测试的了解有多少呢？怎样做才算科学的 A/B 测试？日前，阿里前端技术专家乔福系统性地分享了 A/B 测试的各个步骤，以下为重点内容。
关于 A/B 测试有很多层的定义，通俗来说，A/B 测试是一种工具，通过分隔 A、B 两个版本，统计数据，进而看哪个版本的数据效果更好，对产品目标更有帮助。从 A/B 测试本身的意义来讲，它是用来衡量我们提出的业务改进假设是否有效的一种方法。
业界一般会将 A/B 测试划分为 8 个步骤：建立产品漏斗、确定产品核心业务指标、观察指标并提出优化产品的假设、设计实验步骤、开发 A/B 实验、线上运行试验、实验数据分析、总结实验结论。要科学做 A/B 测试，究竟每一步都应该做些什么呢？下面来具体分析。
1. 建立产品漏斗
这一步往往会被我们忽略掉。其实，不管是业务还是技术同学，都有必要了解自己的产品链路以及用户的漏斗，知道了用户从哪里来，才能更好地为用户增长做准备。
2. 确定产品链路核心指标
在明确了产品的漏斗之后，我们要知道观察产品链路中的哪些核心指标。如果你的关注点仅仅是一个页面，那你可能还需要细看当前页面的用户指标；如果你关注的产品链路比较长，那你应该关注整个链路上各个节点之间的指标。
3. 观察指标，提出优化假设
产品同学根据指标分析当前的业务状况，然后结合需要优化的数据指标，提出相对应的业务假设。假设包含两种，一是原假设，又叫零假设、无假设（Null Hypothesis），代表我们希望通过试验结果推翻的假设。二是备择假设（Alternative Hypothesis），代表我们希望通过试验结果验证的假设。
假如我们的场景是优化页面上按钮的点击率，而我们的预计做法是加大按钮的尺寸。那么原假设的表述就是：加大按钮的尺寸，按钮点击率不会有任何变化。而备择假设的表述则是：加大按钮的尺寸，按钮点击率会有影响，比如降低或提升。
在假设检验中，原假设和备择假设只能有一个成立，然后就进入实验设计这一步了。
4. 设计 A/B 实验方案
实验方案设计方面，我们要明确一些信息：
实验目标是什么？
如何分组，是否要有 A/A 对照，要切多少流量来做实验？
实验要针对谁做投放？是否投放在特定的地区？或是投放在特定的端？
另外，A/B 实验中最好每次只做一个“变量”的改变，这样对于后续的数据分析和明确结论会比较有好处。
5. 开发 A/B 实验
这一步，是我们最熟悉的阶段，一般的项目需求评审都是从这里开始的，开发同学会借助 Runtime SDK 编写 UI 逻辑、分桶逻辑等。
6. 线上运行实验
开发完成后，我们就要准备上线了，这时要设定实验运行时的配置，例如指标的样本量（反过来样本量也决定了实验的运行时长）和实验的显著性水平（α）、统计功效（1-β）。
为什么要设置显著性水平（α）、统计功效（1-β）？因为所有的实验，在概率统计学上都是存在误差的，而误差会导致我们做出错误的判断。
7. 实验数据分析
A/B 测试的统计学本质就是做假设检验，当然在开始假设检验前，我们要先验证一下，数据本身是不是正确的。然后就要根据实验的数据看：
实验显著性是否满足要求？
实验的结论是否证实了假设对数据的提升？
实验是否导致漏斗中其他数据变差了？
关于实验的显著性，这里我们还会用到 z-test 计算 p 值的方式来进行校验。p 值表示，我们观察实验样本有多大的概率是产生于随机过程的，p 值越小，我们越有信心认为原假设不成立。
8. 总结实验结论
最后，我们根据这次实验的分析结果，总结实验结论。如果没有达到预期的目标，我们就要调整策略提出更进一步的优化假设。
以上这 8 步，有时也会缩减为一个 5 步的循环：发现问题、提出假设、设置分组、运行实验、得出结论。
以上就是今天的内容，希望对你有所帮助。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论