06 | 模型的设计准则

开始模型的误差比较大，也就是偏差较大，需要先解决欠拟合的问题。数据量不够大的情况下，容易产生过拟合，这时就要考虑降低方差，减小过拟合。从训练的步骤看，欠拟合需要先解决。

老师，我看这个有点费劲，有没有先修课推荐？看来我得去复习复习…不对，是重新学习学习

应该还是先欠拟合吧，业务先跑起来首先要保证不“丢”数据，过拟合的问题可以随着业务的深入逐步完善。

王老师您好老师，我是一名开学研一的学生，导师让掌握深度学习，请问王老师以后会开这方面的课程吗 或者老师有什么推荐的资源适合初学者看一下

Bagging可以降低variance，boosting可以降低bias。有没有可能把两个方法同时用，同时降低bias和variance呢？

模型拟合适合非数字类的吗，数字类的都可以用传统的计算方法，感觉没必要套上机器学习的外套

内容很精简，但是在吃下这些知识后，又不知道具体如何实现。老师可不可以在文章中，添加一些操作案例，加以解释，让知识和实际有一个很好的切入点。

思考题： 模型训练首先要控制欠拟合，因为欠拟合意味着模型过于简单，在训练数据集中可能存在着较大的偏差，即模型本身还未达标，不达标的模型在测试集中的偏差就更大了，即模型根本无法使用；而过拟合意味着模型过于精细，对训练集中的非主流数据（噪声）也进行了拟合，虽然在训练集中可以打满分，但在测试集中效果可能与期望的效果大相径庭，即过拟合的模型只能用于训练集中，但相比之下，欠拟合的模型危害更大，这就好比在一个桶里装水，既要把水装满，又不能使水溢出，那么，首先是水要装满，然后再控制溢出，如果连水都装不满，又何来溢出，所以模型训练首先是控制欠拟合。 以上是我个人的一点肤浅理解，请老师指正。

学习打卡

极客时间 21天打卡行动 44/21 <<机器学习40讲/06>>模型的设计准则 回答老师问题: 在实际应用中，欠拟合和过拟合是不太可能同时被抑制的，现实的考量是“两害相权取其轻”。那么你认为是应该优先控制欠拟合还是过拟合呢？ 机器开始的控制欠拟合,在数据量开始加大的时候,再抑制过拟合; 今日所学: 1,机器学习具有最强解释性或预测力的模型三个阶段:模型拟合,模型选择,模型评价 2,无免费午餐NFL 定理:每种问题出现的概率是均等的，每个模型用于解决所有问题时，其平均意义上的性能是一样的。 3,NFL 定理最重要的指导意义在于先验知识的使用，也就是具体问题具体分析; 4,脱离问题的实际情况谈论模型优劣是没有意义的，只有让模型的特点和问题的特征相匹配，模型才能发挥最大的作用。 5,奥卡姆剃刀:在结果大致相同的情况下，模型就越简单越好。 6,在科学方法中，奥卡姆剃刀对简单性的偏好并非逻辑上不可辩驳的金科玉律，它更多的是基于可证伪性的标准; 7,本质上说，奥卡姆剃刀的关注点是模型复杂度; 8,模型的误差包括三个部分：偏差（bias），方差（variance）和噪声（noise）。 9,噪声也叫作不可约误差（irreducible error）; 10,模型的复杂度越低，其偏差也就越高；模型的复杂度越高，其方差也就越高。 重点: 无免费午餐定理说明模型的选取要以问题的特点为根据； 奥卡姆剃刀说明在性能相同的情况下，应该选取更加简单的模型； 过于简单的模型会导致欠拟合，过于复杂的模型会导致过拟合； 从误差分解的角度看，欠拟合模型的偏差较大，过拟合模型的方差较大。