• Geek_0e2f02
    2021-01-09
    老师你好,我对分配流量这里有些疑问: 假设我们的新版app同时要上线3个功能,同时我们每天有10万流量,如果每个功能分开测,功能A实验组对照组都需要1万样本量,功能B需要2万样本量,功能C需要3万样本量。 1、首先,我们如何确定实验对象,是我们在我们的用户池里就随机抽样或者以某种方式先选出我们的实验对象,还是直接从我们每天的流量里随机分出一部分用户用于实验 2、假设我们的实验需要进行好几天,如果我们事先根据用户ID设定好他属于实验组还是对照组,那这个用户有可能会出现好几次,这样需要不需要去重,如果事先用户不设定好属于哪一组,那么他有可能同时在实验组和对照组,这种情况怎么处理呢 3、假设我们事先给用户设定好实验组或者对照组,假设我们的实验需要10万样本量,我们实验之前给对实验组、照组各选了20万用户,我们预计是够了,但是经过我们的一段时间的实验,发现怎么也达不到我们的需要的样本量,这20万用户中,可能只来了8万,还差2万,这种情况如何处理呢 4、我们同时上线3个功能,您上边说的是我们可以只有1个对照组,但是我举的例子是,每个实验需要的样本量是不一样的,这种情况下我们的实验应该如何设计呢,以需要最大的样本量3万为基础做实验吗,A/B/C功能都用3万样本。 5、最后,您讲的像这样多个功能一起上,需要一个对照组,3个实验组,还是相当于只是减少了对照组,实验组的数量并没有减少,我的疑惑是,能否实验组也变为一个,同时测这三个功能 谢谢老师,不知道我是否表述清楚.......
    展开

    作者回复: 你好, 我来一个个回答: 1. 这个要看是要测试什么功能,如果可以事先确定实验对象的话那么可以事先选出,我们对测试的功能有自主权(比如给用户发送推送,一般发送前是会确定好用户的),有的功能没有办法事先确定实验对象,因为你不确定用户会不会用要测试的功能,用户对测试的功能有自主权,这时候只能从每天流量中随机选取;2.这个可以参考第5节课如何选取实验单位,结合测试的具体内容具体分析,有些实验需要一个用户只在一个组(比如为了保持用户体验),有的实验则不需要,那么这时候一个用户可以既在实验组又可以在对照组; 3. 这里的话应该是个样本量不足的问题,那么最简单的方法就是延长时间是样本量达标; 4. 这里如果要用A/B/n的话实验组可以分别为1万,2万和3万,共用的对照组需要3万,因为要同时满足3个实验; 5. 实验组不能减少,因为如果只用一个实验组同时测3个功能的话,即使指标有显著变化,我们并不能确定到底是哪一个指标的作用,无法具体归因,所以每一个变化都要一个新的实验组。

    
    10
  • Marrbor
    2021-08-05
    PSM相关资料可以share一下吗?希望进一步了解

    作者回复: 这些资料可以参考下: https://www.linkedin.com/pulse/causal-inference-propensity-score-matching-anh-dang/ https://github.com/ntstevens/A-B-Testing-and-Beyond/issues/1#issuecomment-327911659

    
    1
  • Kennedy
    2021-08-30
    老师你好,为何Power 和 方差成反比呢? 综合方差和样本量成正比,样本量和Power成正比。

    作者回复: 这个关键是看三者的关系,因为如果三者是遵循某种关系的话,这里就不能只看递推法则。 举个例子:长方形的面积 = 长*宽, 当面积一定时,长和宽成反比; 当宽一定时,面积和长成正比, 当长一定时,面积和宽也成正比。 这里power和方差就相当于长和宽,样本量就相当于长方形的面积。

    共 2 条评论
    
  • 豆丁儿
    2021-04-13
    老师,提问1:这里只讲到了提高样本量来提高power,是假定第一类错误不变吗?计算样本量的公式中,明明两类错误都是会影响的呀

    作者回复: 你好! 对的,当我们说一个变量(自变量)对另一个变量(因变量)的影响时,都是假定等式中的其他变量不变的(虽然这个是理想情况,因为现实中的话可能会存在其他变量会随着自变量变化,但是我这里讲的都是定性分析,并不是定量分析)

    共 2 条评论
    
  • Pink泡芙_xue
    2021-04-02
     您好,有什么办法可以看到或者打开文章中链接的内容吗。给个链接获取地址也行。想看下psm原理

    编辑回复: 已经私聊发给你了蛤

    共 2 条评论
    
  • 李哲
    2021-09-27
    有以下疑问哇: 1.我们怎样判断测试结果不显著是因为两指标确实在统计意义上相同,还是因为测试的power不足。如果无法判断的话岂不是每个检测的结果我们都要按照本文的流程做相应的复盘; 2.如果是power不足,我们做优化的话,就是重新做一个ab测试吧?
    共 2 条评论
    2
  • Geek_9dceb7
    2022-04-27
    老师好,请问对于概率型指标,如何去除离群值
    
    1
  • Dried_mango_slices
    2022-07-17
    老师你好!我不是很明白为什么会出现样本量不够而导致实验结果不显著的情况。我的理解里样本量实在实验设计环节根据想要测定的Minimal Detectable Effect 和估计的方差而决定的。所以实验结果能保证得到测定MDE的样本量,所以为什么会有样本量不够的情况呢? 另一方面,如果因为认为样本量不够就继续跑实验,采更多的样本,这样会不会导致False Positive rate 升高呢?
    
    
  • 两只月牙儿
    2021-10-30
    老师您好!对于短信或者电销实验的用户,需不需要将未触达用户去掉,只分析触达用户
    
    