36 | 手把手教你设计一次成功的实验（下）
刘津
该思维导图由 AI 生成，仅供参考
你好，我是刘津。
今天我们接上一讲内容，继续学习如何做一次成功的实验。
以营销落地页优化为例，上一讲我们已经确定了待测试的事项，并排列好优先级，现在我们就需要制定具体的时间计划了。
可视化时间安排
可视化时间安排，是为了让你可以更直观地接收时间计划。没有时间计划，一切的安排都是空谈。最好能按照下表，制定一个详尽的实验计划表。里面包含了具体时间、实验目的、实验假设、设计内容、实验结果及实验结论。
当然，你需要让所有相关成员都能看到这个表，对近期的实验计划了然于心。如果能把它贴在白板上，或是大家都能看到的最显眼的位置就更好了。这样可以提醒大家按计划完成工作，并及时了解实验进度及结果。
量化结果并复盘
每一次实验的结果，我们都需要把它记录下来并进行分析。不过，你表面上看到的实验结果，可未必是可靠的。
别再被 AB 测试结果误导
举个例子，当你抛一次硬币的时候，它可能是正面朝上；你抛两次或者三次，可能它还是正面朝上。但是你能说正面朝上的概率是 100% 吗？肯定不能。当你抛到一定次数时，你会发现正面朝上的概率基本稳定在 50% 左右。所以，做实验必须保持一定的量级，否则结果不具有代表性。
另外，做实验需要考虑时间周期。比如一个大型的首页改版，一般要看一个月以上的数据，因为一开始用户会感觉不习惯，经过一段时间才能养成新的习惯。所以不能看几天数据就盲目判断结果。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文重点介绍了如何设计一次成功的实验，包括可视化时间安排和量化结果并复盘两个方面。作者强调了制定详尽的实验计划表，并让所有相关成员都能看到，以便及时了解实验进度及结果。在量化结果并复盘部分，作者提到了AB测试结果可能会误导，并介绍了置信区间的概念及其计算方式。最后，作者还介绍了一个免费的置信区间小程序，可以帮助快速评估实验结果。整体而言，本文强调了实验设计的重要性，以及如何通过量化结果和置信区间来评估实验效果，为读者提供了实用的技术指导。文章还提到了分析实验结果的重要性，以及如何通过分析数据背后的原因来为下一次实验做准备。通过分析实验结果，读者可以得出结论并指导下一次实验的准备工作，而不是盲目地进行试验。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《从 0 开始做增长》，新⼈⾸单¥59
《从 0 开始做增长》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(5)
- 最新
- 精选
陈心韵老师，这个小程序简直太棒了作者回复: 嘿嘿嘿😊
2019-07-037- Geek_bf2a4d老师你好，我看图中的实验结果大部分都是原版比较好，那有两个问题：1、是否洞察的结论和优化的方式还有可探索的空间。 2、在面对工作量的投入和结果连续证明不如原有的基础上，如何给团队增加信心坚持实验。
作者回复: 因为这个实验已经进行了很久了，前期数据变化非常大，后期提升的就比较慢了。这里展示的是后期的实验计划。在这种情况下，一方面我们依然可以从实验结果中积累经验，分析数据不好的原因，避免再犯。另外也需要做两手准备，从二级增长地图中寻找新的机会。
2019-07-161 
李沛欣这段时间真的挺迷茫的，感觉自己不专业，专业的领域自己也使不上劲，也许应该跳出窠臼看看这个世界。2019-07-2812
程序员小跃这个小程序，给的帮助也太大了吧，赞2019-07-092
吴霜不理解小程序里的“测试次数”，是指重复测试的次数吗？还是指样本量？如果是前者，那转化率就要取所以测试结果的平均值？2019-12-28
收起评论