不是所有的产品都适合A/B测试
极客时间编辑部
讲述：丁婵大小：7.25M时长：05:17
作为技术人或产品经理，你对 A/B 测试一定不陌生。但你有没有想过，我们所仰仗的 A/B 测试，也许其结果并不可靠。
诚然，A/B 测试本质上是问一个问题：A 和 B 哪个更好？但是，假如 A 和 B 都不怎么样，用户也只是选出其中不那么讨厌的一个罢了。
如何保证不盲目使用 A/B 测试呢？日前，红杉汇编译了这样一篇文章，文中提到为了避免在产品迭代上浪费金钱和时间，在下一次测试前，不妨先回答以下两个关键问题。
问题 1：A/B 测试是实现你目标的正确方法吗?
A/B 测试的本质是产品优化。假设你在登山，想要尝试不同的路线，来看哪一条能更快登顶。但是，如果一开始你就选错了山峰呢？你爬的实际上只是一座小山丘。不管你选择哪条上山的路，当你登上小山丘时，你会发现自己沉迷于成功爬上小山丘所带来的兴奋感，却错过了真正的登山过程中抬头可见的北极星。
如何找到正确的方向呢？
记住你要去的地方，专注最重要的目标，进行有方向感的迭代。
与真正的客户交谈。大数据不过是顾客声音的浓缩而已。与一些真正的客户交谈未必能帮助你扩大业务规模，但会让你更接近真实的人类需求，它可以帮助你发现那些真正有价值的问题。
在解决问题之前找到真正的瓶颈。
问题 2：你有没有控制其他因素来减少测试中的干扰项？
现在把你实验中的所有因素都称为“环境”。影响测试的因素包括浏览器、设备类型、地区、月份、促销活动和竞争对手的活动等。
依然以登山为例，在你的测试期间，A/B 两条路径都有不同的风力、降雨、空气和植被模式。因为这种环境和气候在测试阶段之外的其他季节都可能会发生变化，这就使得测试结果在一年中的其他时间都是没有意义的。
如果在你控制变量的实验中，其他的因素也发生了改变，那你就相当于是在拿苹果和橘子做比较。
如何管理不断变化的环境？
环境有两种类型：你可以控制的事情称之为内部环境。比如公司的营销活动、程序代码更改、产品规划等。你无法控制的事情称之为外部环境。比如季节变化、行业趋势、竞争对手、客户行为等。
聪明的人控制他们所能控制的东西，并清楚可控与不可控的区别。
内部环境
常见的内部环境变化有两种。其一是营销活动。人们会受到营销活动的影响，导致你测试的结果失效。所以，如果公司正进行推广活动，那就把你的实验推迟到活动结束后。
其二，产品的变化。你不能在测试一个新产品图像效果的同时，又在每个页面的顶部推出一个新的横幅广告。这会消耗客户的注意力，你测试的产品图像可能就无法获取足够的流量。当你分析测试结果时，也无法知道是你的新产品图像还是横幅 + 产品图像的组合驱动了改变。
如何控制内部环境？
测试特性时，确保其他因素不变。如果你想测试多个特性，请与你的团队进行沟通，依序进行。
与其他团队沟通，以确保他们没有测试竞争特性或更改任何特性。你们应该有一个共享的文档来核对彼此的测试时间表。
当然，当多个因素发生变化时，你可以使用多变量回归来分析测试结果，但可能会有更多的干扰项出现。所以，不要贪心，一次只测试一个特性。
外部环境
外部环境也有两种。其一是“可以调整”的外部环境，即季节性和趋势。这二者的影响不仅仅是简单的乘数效应，它们对测试的影响可以表现出不同的结果。例如，你的功能可能在 4 月份没有任何影响，但它在 6 月份让销售额提高了 10%，而在 8 月份将产生 5% 的负面影响。
对此，你需要建立时间序列回归模型来调整季节效应和趋势。如果没有足够的数据来构建时间序列模型，则可以收集行业的历史数据或产品过去的性能作为基准。
其二是“无法调整”的外部环境，即竞争对手、客户行为和行业变化。如果受到这三者的影响，你可以用模拟数据来估计外部影响的范围，并尽可能地评估风险，做好准备。
以上就是今天的内容，世上可能不会有一个完美的静态环境，但你应该检查你的选项，并选择最靠近目标的一系列选项，按照文中的提示执行成功的 A/B 测试。
原文链接：不是所有的产品都适合 A/B 测试
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论