34 | A/B测试与灰度发布必知必会
该思维导图由 AI 生成，仅供参考
荧光笔
直线
曲线- 深入了解
- 翻译
- 解释
- 总结
A/B测试与灰度发布是在网站和App产品设计中常用的数据驱动运营手段。A/B测试通过随机分组用户，让一部分用户体验新特性，观察数据指标，以决定是否正式发布新特性。Facebook曾通过A/B测试放弃了多次改版方案，而人人网未经A/B测试就进行了重大改版，导致用户流失和没落。A/B测试系统需要能够根据用户ID将实验配置参数分发给应用程序，应用程序根据配置参数决定给用户展示的界面和执行的业务逻辑。灰度发布则是逐步将新版本发布给用户，监控数据指标，若表现不理想可进行回滚。A/B测试系统囊括了前端业务埋点、后端数据采集与存储、大数据计算与分析等技术业务体系，对企业的价值极大。 A/B测试需要在前端App根据实验分组展示不同界面、运行不同业务逻辑，需要更灵活、对应用更少侵入的设计方案或技术架构。 A/B测试和灰度发布是数据驱动产品设计的重要手段，对于大型互联网应用具有重要意义。
《从 0 开始学大数据》，新⼈⾸单¥68
全部留言(15)
- 最新
- 精选
Linton为什么讲大数据的课程，会说到A/B测试去作者回复: 原文：A/B测试的目的依然是为了数据分析，因此通常被当作大数据平台的一部分。 A/B测试是大数据分析和大数据平台的重要组成部分，但是关于A/B测试系统架构的资料非常少，如果说Hadoop、Spark的资料你可以从网上随便搜，那么完整的A/B测试系统架构的资料可能只有这个专栏才有了。 多说两句，Google发表大数据论文距今15年了，Hadoop开源也十几年了，Spark出现也快10年了，如果我们今天学大数据还是眼里只有Hadoop、Spark，真的太OUT了。大数据生态体系包括Hadoop这样的大数据产品，还包括大数据平台、大数据分析、大数据机器学习，我的专栏是一个关于大数据技术体系的完整知识框架，希望能对你学习大数据起到作用。
2019-01-16248
yang除了AB实验，还可以提出AA实验，ABC实验的概念 AA实验可以理解成：实验的配置相同，但划分到不同的用户群体 ABC实验可以理解成: 一个实验的多组不同配置而非两组不同配置分别下发到不同群体作者回复: 是的，可以根据需求设计实验
2019-01-15213
null请问老师，如果AB测试，涉及到调整了数据结构，或者业务逻辑较大改动，是否还有用呢？比如统计中需要全量数据，AB测试分成两个不同表来存。暂时考虑的是冗余存储比调整报表逻辑好，但是不知道是否会影响到AB测试的结果，毕竟有一部分是多做了近一倍的事，性能、用户感受这些指标结果可能又不准确。作者回复: A/B测试可以理解成在原来的打点基础上增加了实验ID和分组ID，数据存储和结构跟原来一样，SQL统计的时候根据ID分别统计，就得到各个实验分组的PV转化率这些指标。
2019-01-164
hxppkabtest 流量分配环节，如何做到百分比流量分桶，同时也做到用某些event条件等划分流量，让流量高效利用？两种划分逻辑如何共存？作者回复: 流量划分需要尽量随机，保证实验结果客观，不应该有太多的划分方式。
2019-01-181
小老鼠AB测试用户喜不喜欢是如何获得的？作者回复: pv uv 留存各种数据指标下降了，就是不喜欢
2019-01-22- yang看带着过了一遍，我现在觉得AB实验还是很有意思的。 用户请求AB实验成功后，AB后台会下发一组配置给该用户，用户的App会将这组配置作为参数加载进来， 并在下一次请求前，不会改变APP的界面和效果，直到下一次这些AB实验的参数发生改变。2019-01-152
毛毛AB测试的逻辑偏复杂、需求也是花样百出，对于SDK，每做一个功能，逻辑设计就要将近一周，代码开发两天。像flurry友盟等单纯数据收集的SDK，很长时间都不会发版。 请问老师，怎么把AB测试的SDK内部逻辑做的比较灵活，目的是适用业务需求变化，还不用频繁发版。2019-01-152
Sic Pavis我的经历一般在后端做ab测试的区分逻辑，前端如果有不同页面之类的展示方式通过后端下发不同的配置文件实现。 好处是后端比前端容易控制版本，前端如果是app的话，你发新版本需要用户更新才行，即使强更，要等待全量用户更新也需要长尾的时间。2021-12-301
乃鱼同学大规模随机对照实验，技术名词眼花缭乱，如果你真的了解技术出现的过程和原因。顺藤摸瓜。你会来到计算机科学的基石：数学。2020-07-221
hallo128AB测试的核心原理是很简单的，就是统计学中2个总体的比较问题。 难度在于整个系统的自动化搭建，从如何抽样，如何安排试验，但最后数据的传递返回处理。最后才对已有数据进行统计检验。 不过从这个系统涉及到的统计知识会有：试验设计（是否为正交在此阶段考虑），调查抽样，假设检验。 现在的数据分析，既需要有扎实的理论基础，也需要有较强的编程实现能力。2019-01-291
