12｜什么情况下不适合做A/B测试？
张博伟
你好，我是博伟。
我们知道，A/B 测试是帮助公司实现持续增长的利器。然而，没有任何一种方法能解决所有的问题，让我们一劳永逸。A/B 测试也是如此。
A/B 测试可以解决大部分因果推断的问题。但在有些因果推断的业务场景下，A/B 测试就不适用了。这个时候我们就需要另辟蹊径，换一种思路和方法来解决问题。
所以今天这节课，我们就来学习 A/B 测试在什么情况下不适用，如果不适用的话，有哪些相应的解决方法。
A/B 测试在什么情况下不适用？
在实践中主要有 3 种情况下 A/B 测试不适用：
当没有办法控制想要测试的变量时
A/B 测试是控制变量实验，它的一个前提就是我们必须可以控制想要测试的变量的变化，这样才能人为地给实验组和对照组的实验单位不同的用户体验。但是在有些情况下，我们就没有办法控制变量的变化。
你可能会有疑问，有这样的变量吗？
当然是有的，主要是用户个人的选择。我们能够控制的变量其实都是在产品和业务端，但是对于用户个人的选择，我们其实是没有办法、也不可能去控制的。毕竟用户都是有自由意志的，所以我们所有的营销方法都是努力去说服用户，但最终选择权还是在用户手里。
比如我们想要了解用户从 QQ 音乐换到网易云音乐后使用情况的变化，那更换音乐 App 就是我们想要测试的变量。需要注意的是，我们无法帮助用户决定是否要更换音乐 App 的行为，因此我们也没有办法做到真正的随机分组。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
A/B测试的局限性及替代方案 本文探讨了A/B测试在实践中的有效性及其局限性，并提出了替代方案。首先指出A/B测试不适用于无法控制测试变量、有重大事件发布、用户数量较少等情况。针对这些情况，文章介绍了倾向评分匹配（PSM）作为一种非实验的因果推断方法，并通过音乐App订阅方式的用户行为案例详细讲解了PSM的应用。此外，还介绍了用户研究方法，包括深度用户体验研究、焦点小组和调查问卷，并探讨了它们在A/B测试无法进行时的应用场景。通过实际案例和方法介绍，文章强调了A/B测试的局限性，并提出了替代方案，为读者提供了在实践中解决因果推断问题的思路和方法。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《A/B 测试从 0 到 1》，新⼈⾸单¥59
《A/B 测试从 0 到 1》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(6)
- 最新
- 精选
Han例如涉及均值指标类疑问：酒店OTA行业，想看做促销和不做促销的酒店对收益的影响，AB分组，A对照组，B实验组。问题 收益应该看实验期间的均值，这种情况一个酒店+1天当做一个样本 还是 一个酒店N天的收益均值当做一个样本？ N是不是要>=30 (满足中线极限定理)? 如果N>=30 马实验至少需要30天了？作者回复: 你好，酒店数量充足的情况下建议用N天一个酒店作为一个样本单位，因为N天的跨度可能会存在指标的周期性变化，比如周中/周末的不同，如果以酒店/天 作为一个样本单位的话，即使是同一家酒店也有可能被同时分到实验组和对照组。关于中心极限定理这里你的理解是正确的，建议N>=30.
2021-01-04- Han老师之前讲的案例整体看下来是比较侧重概率类的AB测试，后续是否能有均值类的AB测试案例？
作者回复: 你好，其实两类指标在实践中的区别我也在专栏中讲解过，比如计算方差时和选取检验类型时不同，专栏中有些小的均值类的例子你也可以作为参考，或者你对均值类指标有什么具体问题么？
2021-01-02 
API接口调用工程师A/B 测试在什么情况下不适用？ 在实践中主要有 3 种情况下 A/B 测试不适用： 当没有办法控制想要测试的变量时 这里我有一个问题，就是不太明白什么叫做没有办法控制想要测试的变量（什么是控制测试变量？是指无法保证试验中只存在一个变量变化？）。文中给出的例子是我们无法控制用户是否选择从个人订阅升级到家庭订阅。 这可能有点矛盾，不论是我们做出的任何产品功能还是营销广告我们不是都不能控制用户的行动吗，我们只能引导用户？为什么在对类似于前面课程所学到的点击率这类又可以使用A/B test（用户点与不点我们实际也不能控制）？2021-10-1916
天火燎原后端应用算法改进，但是无法做到控制C端变量一致并用户分组分流的场景，有没有办法检验效果？目前使用算法上线前后时间，自身评价指标的对比，统计学上怎么消除波动不确定性？2022-05-11
王小葩这个音乐App是Apple Music吧～2022-04-25
两只月牙儿1. 样本量少到什么程度就不可以做AB实验了？ 2. 一般实验周期最长不要超过多长时间？2021-10-301
收起评论
