11 | 常见误区及解决方法（下）：辛普森悖论和实验组/对照组的独立性
辛普森悖论
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
A/B测试中的常见误区及解决方法（下）：辛普森悖论和实验组/对照组的独立性 本文深入探讨了A/B测试中的两个常见问题：辛普森悖论和实验组/对照组的独立性。辛普森悖论指多组数据内部分布不均可能导致总体比较和细分分析得出相反结论，而实验组和对照组的独立性则是A/B测试的前提，但在实践中常常被破坏。 作者以音乐App的注册流程优化为例，说明了辛普森悖论在A/B测试中的表现和影响。同时，强调了在细分分析前进行合理性检验的重要性，以及重新跑实验和针对性解决问题的方法。 另一方面，文章也详细阐述了实验组和对照组独立性的重要性，指出在实践中可能因业务场景导致两组独立性被破坏，进而影响实验结果的准确性。 总的来说，本文通过具体案例和理论分析，深入浅出地解释了A/B测试中的常见误区及解决方法，为读者提供了宝贵的实践经验和解决问题的思路。 文章还介绍了破坏两组独立性的表现形式和解决方法，包括从地理、资源、时间和聚类等方面进行分离，以避免实验组和对照组之间的干扰。 通过本文，读者能够深入了解A/B测试中的常见误区及解决方法，为实践中的A/B测试提供了重要的指导和思路。
《A/B 测试从 0 到 1》，新⼈⾸单¥59
全部留言(9)
- 最新
- 精选
贤者时间听完这节，我想引申一下：辛普森悖论其实是理论上无法避免的，因为我们永远不知道哪些维度/特征也在发挥作用，而这些维度或许没被觉察到，或许没有被数据采集到。这大概是研究人类行为的社会科学和自然科学的最大差异吧。作者回复: 嗯嗯理论上是的，因为维度根据分法不同可能有无穷多个，实践中我们能做的是重点关注对我们有意义的维度，尽量减少它的影响。
2020-12-3110- LeoSeattle老师好. 我们在临床试验领域内, 也会出现 Simpson 悖论. 常用的方法都是 通过 inverse probability weight 来 调整 加权平均 从而 估计 因果效应. 请问 这种方法 在互联网领域 有应用吗?
作者回复: 你好，具体的方法可能会有所不同，不过大致的思路是一样的，即通过人工控制每组中各重要因素的相对比例来估计因果，包括你提到的这种方法，我们工作中用倾向评分匹配（Propensity Score Matching)比较多。
2021-04-292 - fh@fb能否分享一下按时间分隔的实验方法资料，想多了解下，谢谢
作者回复: 可以参考以下两篇： https://arxiv.org/pdf/1706.07840.pdf https://www.unofficialgoogledatascience.com/2015/10/experiment-design-and-modeling-for-long.html
2020-12-312 
安和对于时间分隔的情况，对同一组用户先给实验组策略再给对照组策略，若用户从实验组策略变为对照组策略后，在对照组中的行为也会受到实验组策略的影响，这种情况下也会破坏独立性吧？作者回复: 你好，如果说像你说的这种情况，两组还是会有影响的，可以试着改变时间单位看看影响是否会减弱，或者尝试其他的分离策略。
2021-01-02
那时刻请问老师，采用时间的方法来保持两组的独立性。因为是对于同一组人做ab测试，如果先进行对照组实验十天，然后进行试验组十天，如何处理在实验组时候，由于用户流失导致用户数量减少呢？作者回复: 你好，如果我理解对的话，你的意思是由于实验组的体验不好造成了用户的流失，对么？如果真的出现你说的这种情况的话，可以适当缩短时间单位（比如把10天变为1天，1小时，1分钟等等），然后加大变化的频率，这样的话能够减少你说的影响。
2020-12-313
always with me"当然如果时间比较紧迫，没有时间重新跑实验和检查问题的原因，那么就以细分领域的结果为准，因为总体结果出现了辛普森悖论会变得不准确。" 这里难道不是细分组里面分布不均吗？为什么说要以细分领域的结果为准？2022-04-2111- Dan老師您好，除了您上述所說的方法來確立独立性，統計上，會使用什麽檢定來檢驗實驗組和對照組的独立性？2021-05-0811
Ai叼虫小姬老师，AB分流前要做同质性校验，如果特征指标少只有1-2个，且没有实验前历史数据，该怎么做同质性校验？2023-12-12归属地：上海
Mr.Tree出现这些问题的原因归根结底可以说成是，影响ab测试的因素不仅仅是一个变量，而且另外的变量中的某个或者多个同时作用于测试并且产生了影响测试结果的影响2023-06-20归属地：四川
