07 | 模型的验证方法

参数是模型训练出来得到的结果，超参数需要手动去设置。比如神经网络里面的层数等

超参数无法靠模型的数据训练直接获取。经常根据经验或系统的推荐在模型训练前手动设置，比如文中提到多项式的次数N，各种KXX模型中的K，学习速率，训练次数等。超参数会决定模型的属性(如复杂度)和训练的过程。在参数取值的数量无限时，超参数还无法用最优化算法找到最优解。可以用随机搜索，贝叶斯优化等方法尝试寻找更优的超参数，计算开销一般都比较大。 参数是模型中可以通过数据训练得到的参数，不需要人为事先指定。

老师，什么时候上python实例代码？

老师，为啥k折交叉验证，k越大，验证集方差就会越大？

有没有根据数据量大小设置训练集，验证集和测试集的比例建议？另外没有验证集的话，会有哪些潜在问题？

极客时间 21天打卡行动 45/21 <<机器学习40讲/07>>模型的验证方法 回答老师问题: 参数和超参数之间的关系? 在机器学习的 上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。 在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。 超参数： • 定义关于模型的更高层次的概念，如复杂性或学习能力。 • 不能直接从标准模型培训过程中的数据中学习，需要预先定义。 • 可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定 超参数的一些示例： • 树的数量或树的深度 • 矩阵分解中潜在因素的数量 • 学习率（多种模式） • 深层神经网络隐藏层数 • k均值聚类中的簇数 [来源:百度百科https://baike.baidu.com/item/%E8%B6%85%E5%8F%82%E6%95%B0/3101858?fr=aladdin] 今日所学: 1,泛化性能是机器学习的核心问题; 2,由于模型的泛化性能和它的复杂度是直接挂钩的，所以模型验证的任务就是确定模型的复杂度以避免过拟合的发生; 3,估计泛化性能时，最重要的依据就是模型在训练数据集上的精度（accuracy）。 4,泛化误差也被称为样本外误差（extra-sample error）。 5,样本内误差:核心在于刻画噪声的影响。 6,利用样本训练出的模型 \hat f 在样本上的表现和在总体上的表现之间的差值，就是所谓的样本内误差。 7,对样本内误差的估计又可以转化成对它和训练误差之间的差值的估计,这个差值在《统计学习基础》中被称为乐观度（optimism）。 8,赤池信息量准则（Akaike Information Criterion, AIC）或者贝叶斯信息量准则（Bayesian Information Criterion, BIC）是计算有效参数的数目; 9,原则就是确保训练集、验证集和测试集三者两两互不相交。 10,留出法的思想稍做推广: k 折交叉验证法; 11,模型验证是模型原型设计的最后完善。一旦完成了模型验证，模型就不能再做调整了; 重点: 模型验证的作用是选择最佳模型并确定其性能； 对数据的重采样可以直接实现对样本外误差，也就是泛化误差的估计； k 折交叉验证是无放回的重采样方法； 自助采样是有放回的重采样方法。

学习打卡

“对测试误差的估计可以转化成对样本内误差的估计”，请问老师，这里的测试误差是指什么？根据上下文我没搞懂

“但好在经过一番处理之后，对测试误差的估计可以转化成对样本内误差的估计” 老师，这里的“测试误差”不是指在测试集上的误差吧？

通过网上查资料，模型的参数和超参数有以下特征： 一、模型参数特征： （1）进行模型预测时需要模型参数 （2）模型参数值可以定义模型功能 （3）模型参数用数据估计或数据学习得到 （4）模型参数一般不由实践者手动设置 （5）模型参数通常作为学习模型的一部分保存 二、模型超参数特征： （1）模型超参数常应用于估计模型参数的过程中 （2）模型超参数通常由实践者直接指定 （3）模型超参数通常可以使用启发式方法来设置 （4）模型超参数通常根据给定的预测建模问题而调整 个人的一点肤浅理解，请老师指正： 模型参数是模型的一个内在特征，用来刻画模型本身的固有特性，它可以通过对符合模型特征的数据的统计量进行估计或计算来得到，比如正态分布模型中的均值和方差，可以通过样本均值和样本方差来得到一个估计值；而模型超参数不是模型本身固有的，它主要用来控制模型的复杂度和规模， 是外界施加给模型的一个特征，需要进行人为控制。 在机器学习中通过学习模型参数可以得到更加精准的模型，通过控制超参数可以控制模型复杂度，使之能更好地拟合数据。