导读 | 科学、规范的A/B测试流程，是什么样的？
张博伟
你好，我是博伟。
前面两节课啊，我们花了很大力气去学习做 A/B 测试的理论前提，这也是为了让你夯实理论基础。不过啊，除非你是统计科班出身，否则我都会推荐你，在学习实战的时候呢，也要不断温习统计篇的内容，把理论与实践结合起来。如果觉得有必要，也可以把我在统计篇讲的统计概念和理论延伸开来，通过查看相关统计专业书籍来加深理解。
学完了统计理论，接下来就要开始设计实现做 A/B 测试了。不过在我总结 A/B 测试的流程之前呢，我要简单介绍下在实践中做 A/B 测试的准备工作，主要有两部分：数据和测试平台。
一方面，我们要有数据，包括用户在我们产品和业务中的各种行为，营销广告的表现效果等等，以便用来构建指标。因为 A/B 测试是建立在数据上的分析方法，正如“巧妇难为无米之炊”，没有数据的话，我们就不能通过 A/B 测试来比较谁好谁坏。
一般来说，只要是公司的数据基础架构做得好，埋点埋得到位的话，基本的常用指标都是可以满足的。
如果说我们要进行的 A/B 测试的指标比较新、比较特别，或者数据库没有很全面，没有现成的数据可以用来计算相应的指标，那么可以和数据团队进行协商，看能不能在现有的数据中找出可以替代的指标计算方法。
如果找不到相近的替代指标，那么就要和数据工程团队协商，看能不能构建这个数据，可能需要新的埋点，或者从第三方获得。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
A/B测试是一种科学、规范的分析方法，用于比较不同版本的产品或服务的效果。在进行A/B测试之前，需要做好数据和测试平台的准备工作。数据包括用户行为和营销广告效果等，而测试平台则是用来实施A/B测试的工具。在实施A/B测试时，需要确定目标和假设、确定指标、确定实验单位、估算样本量以及分析测试结果。作者强调了A/B测试的实践性，并提到了在学习过程中要结合自己的工作经验，以便更好地理解和应用A/B测试的流程。同时，作者也指出A/B测试的前提是数据，而数据的追踪和埋点是工程实施的细节，不是A/B测试的重点。整体而言，本文总结了A/B测试的基本流程和实践中的重点，为读者提供了一份科学、规范的A/B测试指南。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《A/B 测试从 0 到 1》，新⼈⾸单¥59
《A/B 测试从 0 到 1》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(5)
- 最新
- 精选
梅不烦老师您的思维导图用的什么软件啊，很美观。我用的那个呈现比较丑😿编辑回复: 用Xmind画的，画思维导图的话Xmind和幕布都比较推荐。
2020-12-1221
Marrbor第二步中的bootstrapping 目的是什么？验证AA吗？还是其它？作者回复: 这个是为了表征指标的波动性，比如计算指标的方差。
2021-07-26
张浩_house做AB测试后，是不是需要根据选择的不通流量针对性的埋点了？通常实验是随机分配的流量，在统计指标的时候能够区分哪些统计指标是A实验的效果，哪些指标是B时刻的实验效果？作者回复: 你好，有些A/B测试中对实验组和对照组的埋点确实会不同，比如需要用户满足某些条件才能触发变化的A/B测试，我们需要追踪在对照组中满足条件本该触发变化，但是因为在对照组所以没有触发变化的用户（Counterfactual)，就需要和实验组不一样的埋点，我在第8节课的例子就会有这种情况，到时我会详细讲解的。
2020-12-13- 18041177287做数据分析统计方面的书籍或课程有推荐的吗？2021-11-08
- Marrbor统计学的教程有推荐吗？2021-08-092
收起评论
