从 0 开始做增长
刘津
前宜人贷用户增长团队负责人,《破茧成蝶》系列图书作者,UGDlab 创始人
24498 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 44 讲
模块一 | 找对目标,增长路上不迷失 (3讲)
模块五 | 小小实验让增长稳稳落地 (2讲)
模块六 | 巧妙复制让增长遍地开花 (2讲)
模块七 | 增长总结 (1讲)
从 0 开始做增长
15
15
1.0x
00:00/00:00
登录|注册

36 | 手把手教你设计一次成功的实验(下)

思考题
分析实验结果,准备下一次实验
不懂置信区间,独家小程序帮你忙
置信区间的计算方式
置信区间:评估A/B测试结果的利器
别再被AB测试结果误导
量化结果并复盘
可视化时间安排
手把手教你设计一次成功的实验

该思维导图由 AI 生成,仅供参考

你好,我是刘津。
今天我们接上一讲内容,继续学习如何做一次成功的实验。
以营销落地页优化为例,上一讲我们已经确定了待测试的事项,并排列好优先级,现在我们就需要制定具体的时间计划了。

可视化时间安排

可视化时间安排,是为了让你可以更直观地接收时间计划。没有时间计划,一切的安排都是空谈。最好能按照下表,制定一个详尽的实验计划表。里面包含了具体时间、实验目的、实验假设、设计内容、实验结果及实验结论。
当然,你需要让所有相关成员都能看到这个表,对近期的实验计划了然于心。如果能把它贴在白板上,或是大家都能看到的最显眼的位置就更好了。这样可以提醒大家按计划完成工作,并及时了解实验进度及结果。

量化结果并复盘

每一次实验的结果,我们都需要把它记录下来并进行分析。不过,你表面上看到的实验结果,可未必是可靠的。

别再被 AB 测试结果误导

举个例子,当你抛一次硬币的时候,它可能是正面朝上;你抛两次或者三次,可能它还是正面朝上。但是你能说正面朝上的概率是 100% 吗?肯定不能。当你抛到一定次数时,你会发现正面朝上的概率基本稳定在 50% 左右。所以,做实验必须保持一定的量级,否则结果不具有代表性。
另外,做实验需要考虑时间周期。比如一个大型的首页改版,一般要看一个月以上的数据,因为一开始用户会感觉不习惯,经过一段时间才能养成新的习惯。所以不能看几天数据就盲目判断结果。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

本文重点介绍了如何设计一次成功的实验,包括可视化时间安排和量化结果并复盘两个方面。作者强调了制定详尽的实验计划表,并让所有相关成员都能看到,以便及时了解实验进度及结果。在量化结果并复盘部分,作者提到了AB测试结果可能会误导,并介绍了置信区间的概念及其计算方式。最后,作者还介绍了一个免费的置信区间小程序,可以帮助快速评估实验结果。整体而言,本文强调了实验设计的重要性,以及如何通过量化结果和置信区间来评估实验效果,为读者提供了实用的技术指导。文章还提到了分析实验结果的重要性,以及如何通过分析数据背后的原因来为下一次实验做准备。通过分析实验结果,读者可以得出结论并指导下一次实验的准备工作,而不是盲目地进行试验。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《从 0 开始做增长》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(5)

  • 最新
  • 精选
  • 陈心韵
    老师,这个小程序简直太棒了

    作者回复: 嘿嘿嘿😊

    2019-07-03
    7
  • Geek_bf2a4d
    老师你好,我看图中的实验结果大部分都是原版比较好,那有两个问题:1、是否洞察的结论和优化的方式还有可探索的空间。 2、在面对工作量的投入和结果连续证明不如原有的基础上,如何给团队增加信心坚持实验。

    作者回复: 因为这个实验已经进行了很久了,前期数据变化非常大,后期提升的就比较慢了。这里展示的是后期的实验计划。在这种情况下,一方面我们依然可以从实验结果中积累经验,分析数据不好的原因,避免再犯。另外也需要做两手准备,从二级增长地图中寻找新的机会。

    2019-07-16
    1
  • 李沛欣
    这段时间真的挺迷茫的,感觉自己不专业,专业的领域自己也使不上劲,也许应该跳出窠臼看看这个世界。
    2019-07-28
    1
    2
  • 程序员小跃
    这个小程序,给的帮助也太大了吧,赞
    2019-07-09
    2
  • 吴霜
    不理解小程序里的“测试次数”,是指重复测试的次数吗?还是指样本量?如果是前者,那转化率就要取所以测试结果的平均值?
    2019-12-28
收起评论
大纲
固定大纲
可视化时间安排
量化结果并复盘
别再被 AB 测试结果误导
显示
设置
留言
5
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部