03｜确定目标和假设：好的目标和假设是什么？
张博伟
你好，我是博伟。
今天这节课我们就进入到“基础篇”模块了，通过前面的学习，你已经清楚了做 A/B 测试的基本流程，接下来呢，我会带你去看看在实践中确定目标和假设、确定指标、选取实验单位、估算样本量大小，以及分析测试结果这 5 步，具体应该怎么操作。
我们知道，确定目标和假设、确定指标这两步决定了测试的方向，可谓至关重要。那么，如何一步步地把业务问题转化为 A/B 测试的目标和假设呢？又如何根据目标来选择合适的指标呢？在接下来的两节课，我会通过大量的案例来给你解答这两个问题。在讲解案例的同时，我也会结合我的实践经验，给你一些可落地执行、切实可操作的建议，让你知道该如何规避坑点。
确定目标和假设
首先，我们要明确，做 A/B 测试肯定是为了解决业务上遇到的问题，而绝不是为了做而做。所以，找到了要解决的业务问题，也就基本找到了 A/B 测试目标。为什么这么说呢？
让我们来回顾下开篇词中讲的 A/B 测试解决的常见业务问题，看看 A/B 测试可以用在什么领域，解决什么问题：
总结一下这些业务问题，我们就会发现一些共性：
所有的业务问题都会有一个目标，比如提升用户粘性是业务问题的目标，同时我们也把这个目标称作“结果”。
有的业务问题会有明确的努力方向，比如，通过改变外观来提升点击率，这里的“改变外观”就是明确的努力方向，同时我们也把“改变外观”等变化称作“原因”。不过有的业务问题没有明确的努力方向，这时候我们需要根据具体的情况去发现原因。比如对于“如何确定最优的营销时间”这个业务问题，我们分析发掘之后会发现，周五晚上的营销效果会比较好。那么这里的“原因”就是大家结束了一周忙碌的工作，就会比较有时间。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文详细介绍了A/B测试在数据驱动决策中的重要性以及确定目标和假设的关键步骤。通过音乐App提高营收的案例，阐述了A/B测试的目标和假设确定方法，并强调了评价指标的重要性。文章提出了选取评价指标的三种方法，并强调了在A/B测试中确定目标和假设的重要性。下一步，将介绍综合多个指标建立总体评价标准的方法，以及指标的波动性，同时具体介绍护栏指标，保证A/B测试的品质和质量。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《A/B 测试从 0 到 1》，新⼈⾸单¥59
《A/B 测试从 0 到 1》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(9)
- 最新
- 精选
皓昊置顶老师，您给的三个博客，进去了不知道怎么看，能大概讲件吗？作者回复: 你好，对于Facebook的你重点看下Measurement标签下的文章，里面有关于广告的测试方法和指标,有的文章好友whitepaper也可以参考；对于Google重点看Data&Measurement https://www.thinkwithgoogle.com/marketing-strategies/data-and-measurement/ 里面的内容.
2020-12-194
lotus麻烦老师解释一下回溯性分析是不是就是通过置信区间计算指标的波动区间？作者回复: 你好，回溯性分析其实是泛指所有你能在历史数据上做出的对指标的分析和表征，你说的当然是一种分析方法，我在文中说的看指标对其他变化的敏感性分析也是一种。
2021-01-033
Yufung🎐老师，你给的那三个博客都打不开，请问是要翻墙吗编辑回复: yeeep
2021-08-202
孙小军想请教老师两个问题： 1. 关于敏感性和稳定性，课程里讲到续订率对于增加杰伦专辑推送不敏感的例子，请问有没有过于敏感的例子可以帮助理解？ 2. 关于回溯性分析，课程提到“我们选取续订率作为衡量增加“自动播放”功能是否有用的指标，那么我们就要去分析，在过去增加其他有利于用户留存的产品功能前后，续订率是不是有明显的变化。” 想请问如果续订率有明显变化，是不是说明续订率不适合作为衡量增加“自动播放”的评价指标？作者回复: 你好，1. 过于敏感的指标一般指的是有很多离群值的指标，比如要测试网页加载速度，个别用户可能有趣网络不好或者上网设备老旧，造成了加载速度奇慢无比，如果这个时候选取加载速度的平均值的话，就容易收到离群值的干扰，这里解决方案是可以选择剔除离群值再计算平均值或者选择更稳定的中位数作为指标。2. 恰恰相反，说明续订率这个指标足够敏感，可以作为指标，因为之前产品功能的变化已经固定了，不会在现在你做A/B测试时影响你。
2020-12-282
RecordLiu不能作为评价指标的，举3个例子： 1.app的新用户注册量不能作为评价指标，因为一些用户可能是通过营销手段获取的，并没有真正地去使用app，而留存率才是关键的评价指标，比如次日留存、7日留存、30日留存等。 2.一个行业的平均工资不能作为评价指标，因为受极值的影响，可以选取中位数或者众数作为评价指标 3.零售行业销量不能作为评价指标，而利润率才是关键指标2022-02-092
落空想请教一下老师关于概率类指标怎么去计算样本的均值和方差呢？ 拿点击率来说，对于单个用户，只有点击和不点击两种情况（二分类），如何计算样本的均值和方差进行t检验呢？实验期间一个用户来了多次是算多个样本量还是一个样本量呢？2021-09-0811
Vincent Chan目标决定了结果（用户留存）， 而假设又决定了原因（增加自动播放的功能），所以目标和假设对于 A/B 测试来说，是缺一不可。【有点没看懂这句】2023-10-31归属地：广东- Vincent Chan目标决定了结果（用户留存）， 而假设又决定了原因（增加自动播放的功能），所以目标和假设对于 A/B 测试来说，是缺一不可。2023-10-31归属地：广东
- 张小灿请问下老师 “我们对每组用户（满意的用户和不满意的用户）分别做定量的用户使用习惯的数据分析，发现把音乐收藏到自己曲库的用户有较高的满意度，说明收藏音乐这个行为和用户满意度有强烈的正相关性。” 这里的定量的用户使用习惯的数据分析是如何做的可以分享一下吗2021-10-112
收起评论
