极客时间
21天打卡行动 47/21
<<机器学习40讲/09>>实验设计
今日所学:
1,实验设计（experimental design），或者叫设计实验（designed experiment），指的是在实验之前制定详细的实验计划，确定实验目标并选择待研究的过程因子（process factor）;
2,设计实验比机器学习本身更加注重策略的作用;
3,设计实验要完成的任务是对整个机器学习过程的优化;
4,一次一因子:首先为所有因子都设定一个基线值，再在其他因子保持在基线水平的前提下令单个因子波动，观察它对学习性能的影响。
5,如果在每次实验中不是控制单个因子，而是让所有的因子一起变化来发现它们之间的协同关系，这就是因子设计（factorial design）的方法;
6,在对筛选出的少量因子进行微调时，可以使用响应面方法（response surface methodology）来降低计算开销。微调的目的是找到最优的因子取值，在不可能对所有取值都计算出性能指标的情况下，通过插值的方法来拟合出因子和性能之间的响应面就是一种更容易操作的办法。在得到的响应面上寻找最值，找到的就是最优的因子取值。
7,替代模型（surrogate model）是对真实模型的逼近，以数据驱动的自底向上的方法构建，目标是尽可能地模拟真实模型的行为。
重点:
实验设计的任务是观察一个或多个因子对实验结果的影响；
机器学习中，实验设计中的因子包括算法类型、超参数、数据集等；
 连续实验可以用来评估多个因子对实验的影响；
响应面方法通过二次曲面的拟合寻找可变因子的最佳取值。