• Han
    2021-01-04
    例如涉及均值指标类疑问:酒店OTA行业,想看做促销和不做促销的酒店对收益的影响,AB分组,A对照组,B实验组。问题 收益应该看实验期间的均值,这种情况一个酒店+1天当做一个样本 还是 一个酒店N天的收益均值当做一个样本? N是不是要>=30 (满足中线极限定理)? 如果N>=30 马实验至少需要30天了?

    作者回复: 你好,酒店数量充足的情况下建议用N天一个酒店作为一个样本单位,因为N天的跨度可能会存在指标的周期性变化,比如周中/周末的不同,如果以酒店/天 作为一个样本单位的话,即使是同一家酒店也有可能被同时分到实验组和对照组。关于中心极限定理这里你的理解是正确的,建议N>=30.

    
    
  • Han
    2021-01-02
    老师之前讲的案例整体看下来是比较侧重概率类的AB测试,后续是否能有均值类的AB测试案例?

    作者回复: 你好,其实两类指标在实践中的区别我也在专栏中讲解过,比如计算方差时和选取检验类型时不同,专栏中有些小的均值类的例子你也可以作为参考,或者你对均值类指标有什么具体问题么?

    
    
  • API接口调用工程师
    2021-10-19
    A/B 测试在什么情况下不适用? 在实践中主要有 3 种情况下 A/B 测试不适用: 当没有办法控制想要测试的变量时 这里我有一个问题,就是不太明白什么叫做没有办法控制想要测试的变量(什么是控制测试变量?是指无法保证试验中只存在一个变量变化?)。文中给出的例子是我们无法控制用户是否选择从个人订阅升级到家庭订阅。 这可能有点矛盾,不论是我们做出的任何产品功能还是营销广告我们不是都不能控制用户的行动吗,我们只能引导用户?为什么在对类似于前面课程所学到的点击率这类又可以使用A/B test(用户点与不点我们实际也不能控制)?
    共 1 条评论
    6
  • 天火燎原
    2022-05-11
    后端应用算法改进,但是无法做到控制C端变量一致并用户分组分流的场景,有没有办法检验效果?目前使用算法上线前后时间,自身评价指标的对比,统计学上怎么消除波动不确定性?
    
    
  • 王小葩
    2022-04-25
    这个音乐App是Apple Music吧~
    
    
  • 两只月牙儿
    2021-10-30
    1. 样本量少到什么程度就不可以做AB实验了? 2. 一般实验周期最长不要超过多长时间?
    共 1 条评论
    