• 缱绻星空
    2020-12-03
    体系、全面、系统的讲解了AB测试。 听过老师讲解之后,发现以前了解的才都是皮毛,做的测试也是误打误撞的的得到了相对正确的结果。 期待老师的后续课程。

    编辑回复: 相信博伟老师这门课程可以成为你工作的好帮手!

    
    6
  • chen
    2021-05-19
    老师,请问那个过滤的例子里面为什么不先过滤再随机分组呢

    作者回复: 你好,我在这里举的这里例子是我工作中的一个具体案例,当时在工程实施方面决定最后在过滤是因为有些过滤条件是会随着时间变化而变化的,如果提前过滤的话(意味着过滤距离实际发送的时间会更长)有可能会出现过滤掉一些本可以发送的用户。

    
    4
  • 雷大锤抡不动大锤
    2021-01-12
    老师,一次只改变一个变量,那想要得出一个好的策略,是不是花费的时间周期太长了?还是说ab test其实可以衍生为abc甚至abcde test?

    作者回复: 你好,可以有A/B/n Test, 就是有一个对照组和多个实验组,每个实验组改变一个变量,具体可以参考下第9节课的内容。

    共 2 条评论
    3
  • 阿瑞斯
    2021-07-31
    有A/B测试方面的书籍推荐吗 老师

    作者回复: 这里推荐两本: https://www.amazon.com/Statistical-Methods-Online-Testing-commerce/dp/1694079724 https://www.amazon.com/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264

    
    1
  • 小匚
    2020-12-10
    最近做的项目是推荐产品,每个客户通过最小二乘计算出评分(用购买次数累计)。面临推荐模型的评价问题,rmse是不存在一个阈值的。目前只是知道A/B测试是常见的在线评测推荐模型的方法。所以来看看具体实施起来怎么去展开,有什么需要注意的等等。

    作者回复: 你好,你要首先明确要测试的目标和假设是什么,然后根据目标选择出相应的指标(推荐系统在A/B测试中常用的指标有点击率,转化率等),然后表征你的指标,选取实验对象,计算样本量,合理性检验,以及最后分析结果,这些都会在课程中学到的。

    
    1
  • Geek_e06b49
    2020-12-08
    想问下老师平台推送那个例子。 1.第一个例子错误的原因是因为不是严格的ab?假设过滤阶段没有其他影响,是不是对结果的影响也很小,甚至没有影响呢? 2.或者说我改一下想要得到的结论,如果是要比较‘符合推送条件的人是否推送’进行ab测试,那文中第一个例子是不是就是正确的了?

    作者回复: 你好,推送平台的例子错在不是严格的A/B,因为存在实验设计之外的第二个变量(过滤),并且这个变量对两组的影响不同,现实中过滤的影响还是挺大的,所以会对结果产生比较大的影响,至于你的第二个问题,比较‘符合推送条件的人是否推送’进行ab测试,这个其实也得在两组都得过滤才行,因为要通过过滤机制在两组鉴别‘符合推送条件的人’。

    共 2 条评论
    1
  • 石大文
    2020-12-03
    有没有搭建AB测试的应用介绍

    作者回复: 你好,你是指的A/B测试的平台么?

    共 2 条评论
    1
  • 金龟
    2020-12-02
    感觉课程全都是偏理论,是否会讲述。abtest是如何设计实现并嵌入到工程中的

    作者回复: 可以看一下目录哦,就前两节课是理论,因为学习A/B测试肯定要学一些理论的。基础篇就会讲如何设计实现啦~

    
    1
  • 上上
    2020-12-02
    声音好听,内容干货,音频部分要是可以选择倍速就更完美了。

    作者回复: 哈哈这个给极客时间的PM提了一个好建议!

    共 3 条评论
    1
  • 展鸿
    2022-04-15
    老师的插图好好看,请问是用什么工作制作的呢?

    编辑回复: keynote!

    
    