编辑回复: 相信博伟老师这门课程可以成为你工作的好帮手!
作者回复: 你好,我在这里举的这里例子是我工作中的一个具体案例,当时在工程实施方面决定最后在过滤是因为有些过滤条件是会随着时间变化而变化的,如果提前过滤的话(意味着过滤距离实际发送的时间会更长)有可能会出现过滤掉一些本可以发送的用户。
作者回复: 你好,可以有A/B/n Test, 就是有一个对照组和多个实验组,每个实验组改变一个变量,具体可以参考下第9节课的内容。
作者回复: 这里推荐两本: https://www.amazon.com/Statistical-Methods-Online-Testing-commerce/dp/1694079724 https://www.amazon.com/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264
作者回复: 你好,你要首先明确要测试的目标和假设是什么,然后根据目标选择出相应的指标(推荐系统在A/B测试中常用的指标有点击率,转化率等),然后表征你的指标,选取实验对象,计算样本量,合理性检验,以及最后分析结果,这些都会在课程中学到的。
作者回复: 你好,推送平台的例子错在不是严格的A/B,因为存在实验设计之外的第二个变量(过滤),并且这个变量对两组的影响不同,现实中过滤的影响还是挺大的,所以会对结果产生比较大的影响,至于你的第二个问题,比较‘符合推送条件的人是否推送’进行ab测试,这个其实也得在两组都得过滤才行,因为要通过过滤机制在两组鉴别‘符合推送条件的人’。
作者回复: 你好,你是指的A/B测试的平台么?
作者回复: 可以看一下目录哦,就前两节课是理论,因为学习A/B测试肯定要学一些理论的。基础篇就会讲如何设计实现啦~
作者回复: 哈哈这个给极客时间的PM提了一个好建议!
编辑回复: keynote!