03 数学基础 | 窥一斑而知全豹：数理统计
王天一
该思维导图由 AI 生成，仅供参考
在人工智能的研究中，数理统计同样不可或缺。基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释，只有做出合理的解读，数据的价值才能够体现。数理统计（mathematical statistics）根据观察或实验得到的数据来研究随机现象，并对研究对象的客观规律做出合理的估计和判断。
虽然数理统计以概率论为理论基础，但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知，根据已知的分布来分析随机变量的特征与规律；数理统计的研究对象则是未知分布的随机变量，研究方法是对随机变量进行独立重复的观察，根据得到的观察结果对原始分布做出推断。
用一句不严谨但直观的话讲：数理统计可以看成是逆向的概率论。用买彩票打个比方，概率论解决的是根据已知的摇奖规律判断一注号码中奖的可能性，数理统计解决的则是根据之前多次中奖 / 不中奖的号码记录以一定的精确性推测摇奖的规律，虽然这种尝试往往无功而返。
在数理统计中，可用的资源是有限的数据集合，这个有限数据集被称为样本（sample）。相应地，观察对象所有的可能取值被称为总体（population）。数理统计的任务就是根据样本推断总体的数字特征。样本通常由对总体进行多次独立的重复观测而得到，这保证了不同的样本值之间相互独立，并且都与总体具有相同的分布。
在统计推断中，应用的往往不是样本本身，而是被称为统计量的样本的函数。统计量本身是一个随机变量，是用来进行统计推断的工具。样本均值和样本方差是两个最重要的统计量：
样本均值：
样本方差：
统计推断的基本问题可以分为两大类：参数估计（estimation theory）和假设检验（hypothesis test）。
参数估计
参数估计是通过随机抽取的样本来估计总体分布的方法，又可以进一步划分为点估计（point estimation）和区间估计（interval estimation）。在已知总体分布函数形式，但未知其一个或者多个参数时，借助于总体的一个样本来估计未知参数的取值就是参数的点估计。点估计的核心在于构造合适的统计量 ，并用这个统计量的观察值作为未知参数 的近似值。点估计的具体方法包括矩估计法（method of moments）和最大似然估计法（maximum likelihood estimation）。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
数理统计在人工智能领域扮演着重要角色，通过对随机现象的数据进行观察和实验，对研究对象的客观规律进行合理估计和判断。参数估计和假设检验是数理统计的核心方法，用于推断总体的数字特征和验证关于总体的假设。参数估计通过样本估计总体分布的未知参数，包括点估计和区间估计，评价标准包括无偏性、有效性和一致性。假设检验则用于判断假设是否成立，避免第I类和第II类错误。置信区间提供了参数估计的取值范围和误差界限。在机器学习中，假设检验用于推断学习器的泛化能力，帮助比较不同学习器的性能。此外，泛化误差的构成包括偏差、方差和噪声，反映了模型的欠拟合和过拟合特性。数理统计为机器学习算法提供了重要的基础，两者关注的都是利用数据提取信息或规律。因此，深入理解数理统计对于理解机器学习算法和数据挖掘结果具有重要意义。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《人工智能基础课》，新⼈⾸单¥59
《人工智能基础课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(30)
- 最新
- 精选
小太白有点疑惑，数理统计 和 贝叶斯方法中的后验概率计算 之间有何区别和联系? 谢谢！作者回复: 思路是类似的，但数理统计是从有限的数据出发进行推测，因此除了给出待估计的参数的取值之外，还要计算出取值的可信程度，就像一个从不把话说死的人。
2018-02-0713
宋不肥研一快结束了，修完了矩阵论，数理统计，最优化和数值分析，重新来听了一遍，感觉讲了很不错，讲的很精炼，但感觉对真正完全的初学者不是很友好。。。比如上学期刚开学的我。。。作者回复: 有点基础能更快地进入节奏
2019-05-2128
吴文敏范化误差的三部分中，我知道偏差和方差是和模型相关的，我们可以通过调整假设改变模型进而trade-off两者。噪音是和模型无关的吗？也就是说噪音表示当前学习任务的理论瓶颈？作者回复: 关于噪声可以这么理解，因为再好的模型也不会降低问题的难度。梯子可以让你爬得更好，却没法把墙变矮。
2018-01-096- 杨家荣打卡第一天(1/21): <<人工智能基础课03>> 机器学习本质上是一种算法，这种算法由数据分析习得，而且不依赖于规则导向的程序设计； 统计建模则是以数据为基础，利用数学方程式来探究变量变化规律的一套规范化流程。 机器学习和数理统计的确具有相同的目标：从数据中学习, 他们的核心都是探讨如何从数据中提取人们需要的信息或规律; 不同点: 1,机器学习更多地强调优化和性能，而统计学则更注重推导。 2,机器学习是数据越多，预测通常就越准确,是黑盒; 相比较数理统计:则必须了解数据的收集方式，估计量（包括p值和无偏估计）的统计特征，被研究人群的潜在分布规律，以及多次试验的期望参数的类型。研究人员需要非常清楚自己在做什么，并提出具有预测能力的参数。而且统计建模通常用于较低维度的数据集; 总的来说，我们可以认为机器学习和统计建模是预测建模领域的两个不同分支。这两者之间的差距在过去的 10 年中正在不断缩小，而且它们之间存在许多相互学习和借鉴的地方。未来，它们之间的联系将会更加紧密。 今天学到了: 数理统计与概率论的不同是在于:概率论在找下一个点,数理统计是局部推整体 数理统计相关名词:数理统计,概率论,样本均值,样本方差,点估计(矩估计,最大似然估计法[无偏性,有效性,一致性]),区间估计,置信区间,泛化误差(偏差,方差,噪声)
作者回复: 打卡效果max！
2019-12-194 
上善若水股市不能预测，因为导致概率变化的条件不能穷尽，而且那种条件有时很难作为独立事件作者回复: 是的，要预测股市需要把所有人的行为，以及他们之间的互相影响都进行建模，这种微观预测是实现不了的。
2019-10-302- 上善若水人工智能只能在样本限定范围内来做推演
作者回复: 人类自己的思维方式也是这样，从有限到无限，从特殊到一般
2019-10-302 
hockidoggy我觉得数理统计更偏向于从理论角度研究方法论，进而探讨如何应用。而机器学习是基于一类场景，从解决问题的角度出发来寻找适合的方法，是数理统计在具体应用层面的一个分支。作者回复: 可以这么理解，机器学习的各种算法是数理统计思想的载体。
2017-12-282- Hanan模型的偏差越大就越欠拟合，也就是训练误差越大；方差越大就是越过拟合，也就是测试误差越大。请问可以这样理解吗？
作者回复: 可以这么理解，但欠拟合的测试误差也会很大，所以两个都是要避免的情况。
2019-07-131 
Geek_jianghao为什么学习器不是通过对训练数据学习到具有普适性的模型呢？作者回复: 是的，就是训练集，犯了个低级错误。
2019-06-221
🐸吸烟的青蛙置信区间可以用如下的方式直观解释：对总体反复抽样多次，每次得到容量相同的样本，则根据每一组样本值都可以确定出一个置信区间 (\underset{\raise0.3em\hbox{\smash{\scriptscriptstyle-}}}{\theta } ,\bar \theta)，其上界和下界是样本的两个统计量，分别代表了置信上限和置信下限。 小编？置信区间的公式展示有问题，麻烦处理？作者回复: 其实公式就是一个下划线和一个上划线
2019-10-28
收起评论