logging太重要，很多时候看到结果需要解释，发现没有log结果又要再开实验很费时间

提到测试或实验，不得不提**双盲实验**。这个在医疗领域比较常见。一种新疗法，或一款新药是否有效，必须经过**大样本随机双盲实验**。尽可能地排除安慰剂效应或者实验人员的主观臆断。

文中关于设计A/B测试，也可以看做是设计一个“双盲实验”。关于数据的分析，推荐“信号与噪声”这本书，里面许多原则可以通用。

AB测试是和灰度发布一个意思么

说个具体的技术实现，用ELK可以方案的实现出一套A/B Testing 系统

“实验的版本控制，会让分析和重新设置的过程更加快捷。”这个不大理解

今天刚跟组里的小姑娘聊到尝试站在读者或者用户的角度思考问题。这一点有时候太难了，就像女神说的，我们过分相信自己的直觉，有时候感觉某一事情的发生理所当然，殊不知，这理所当然的范围只是我们个人的思维。以前听过一句话，这世界上根本不存在感同身受，大概是说感情的，不过，也说明完全理解他人，或者说局外人要做出和局内人对某件事一样的反应该有多难。你之于我是局外人，产品之于开发是局外人，用户之于所有产品开发者是局外人，以自己的思维推测别人的反馈应该是出错率很高的一件事儿。

产品修改以事实为依托，这样大家都能接受，而且工程师和产品都能看到自己努力的结果，有了即时反馈就更容易产生驱动力。这种方式的确值得学习，受教了。

这里其实创业公司到什么阶段开始使用A/B测试？这个问题需要探讨一下。这里其实很多创业公司估计就死在这上面了。一个可能原因就是没有这个，不合理的特性逐渐累加，最终垮掉了了。

打卡

其实对于ABTest存在的意义不甚理解...在我看来，这其实更像是规避产品风险的办法，而不是创新的手段....例如乔布斯在设计iPhone的时候，不会拿大量的数据来去评测用户喜欢哪种iPhone设计多一些，而是认为当一个产品真正摆在用户前面之前，用户是不会明白自己喜欢什么的...

实验的版本控制是指什么

请教 什么是聚合数据 ？

讲的真好。

请教一个问题：A/B Testing跟另一个常提到的Canary金丝雀发布是同一个机制么？

首先建立一套数据埋点和采集工具

“请确保你在 A 组和 B 组随机分配的数据是绝对公平的”，有一种方案是：完全随机（不区分用户属性，如性别，年龄段，地域等），还有一种是方案是：根据用户属性来划分AB，例如上一次已经分配A给了一个男性用户，本次用户如果还是男性就分配B，如果是女性还是分配给A，这样能保证A和B组里面的用户属性（比如男女比例）都大致相同。不知大神会建议采用哪种方案？

A/B测试如何实施呢，具体说埋点、采集、分析等一套UI工具如何搭建

A/B测试在后端开发中有什么应用场景吗？