极客时间
21天打卡行动 44/21
<<机器学习40讲/06>>模型的设计准则
回答老师问题:
在实际应用中，欠拟合和过拟合是不太可能同时被抑制的，现实的考量是“两害相权取其轻”。那么你认为是应该优先控制欠拟合还是过拟合呢？
机器开始的控制欠拟合,在数据量开始加大的时候,再抑制过拟合;
今日所学:
1,机器学习具有最强解释性或预测力的模型三个阶段:模型拟合,模型选择,模型评价
2,无免费午餐NFL 定理:每种问题出现的概率是均等的，每个模型用于解决所有问题时，其平均意义上的性能是一样的。
3,NFL 定理最重要的指导意义在于先验知识的使用，也就是具体问题具体分析;
4,脱离问题的实际情况谈论模型优劣是没有意义的，只有让模型的特点和问题的特征相匹配，模型才能发挥最大的作用。
5,奥卡姆剃刀:在结果大致相同的情况下，模型就越简单越好。
6,在科学方法中，奥卡姆剃刀对简单性的偏好并非逻辑上不可辩驳的金科玉律，它更多的是基于可证伪性的标准;
7,本质上说，奥卡姆剃刀的关注点是模型复杂度;
8,模型的误差包括三个部分：偏差（bias），方差（variance）和噪声（noise）。
9,噪声也叫作不可约误差（irreducible error）;
10,模型的复杂度越低，其偏差也就越高；模型的复杂度越高，其方差也就越高。
重点:
 无免费午餐定理说明模型的选取要以问题的特点为根据；
奥卡姆剃刀说明在性能相同的情况下，应该选取更加简单的模型；
过于简单的模型会导致欠拟合，过于复杂的模型会导致过拟合；
从误差分解的角度看，欠拟合模型的偏差较大，过拟合模型的方差较大。