选择环比还是AB测试的决策原因能否说下?
我理解应该跟“指标提升可能性”没有什么关系,而是跟“相关变量的多少”有关系。
相关变量多,则需要用AB实验,流量开大,把实验组和对照组的变量抵消均质化。
而指标提升可能性,更多是看交互、视觉层面的改动,用户能否能感知到吧?
如果能明确感知到,则提升可能性大,如果不能感知到,则提升可能性小。
展开
作者回复: 对,这个案例的指标提升可能性指的是跟交互视觉改进有关的。需要具体项目具体去看。
ab测试有一定成本,而且对量级有要求。如果确定待测试的点不受其它变化影响,才可以考虑环比测试。单变量还是多变量都是一样的。因为背后可能存在很多我们看不到的变量在影响结果,比如各种突发情况等。