人工智能基础课
王天一
工学博士,副教授
57662 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 59 讲
开篇词 (1讲)
人工智能基础课
15
15
1.0x
00:00/00:00
登录|注册

03 数学基础 | 窥一斑而知全豹:数理统计

在人工智能的研究中,数理统计同样不可或缺。基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释,只有做出合理的解读,数据的价值才能够体现。数理统计(mathematical statistics)根据观察或实验得到的数据来研究随机现象,并对研究对象的客观规律做出合理的估计和判断
虽然数理统计以概率论为理论基础,但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知,根据已知的分布来分析随机变量的特征与规律;数理统计的研究对象则是未知分布的随机变量,研究方法是对随机变量进行独立重复的观察,根据得到的观察结果对原始分布做出推断。
用一句不严谨但直观的话讲:数理统计可以看成是逆向的概率论。用买彩票打个比方,概率论解决的是根据已知的摇奖规律判断一注号码中奖的可能性,数理统计解决的则是根据之前多次中奖 / 不中奖的号码记录以一定的精确性推测摇奖的规律,虽然这种尝试往往无功而返。
在数理统计中,可用的资源是有限的数据集合,这个有限数据集被称为样本(sample)。相应地,观察对象所有的可能取值被称为总体(population)。数理统计的任务就是根据样本推断总体的数字特征。样本通常由对总体进行多次独立的重复观测而得到,这保证了不同的样本值之间相互独立,并且都与总体具有相同的分布。
在统计推断中,应用的往往不是样本本身,而是被称为统计量的样本的函数。统计量本身是一个随机变量,是用来进行统计推断的工具。样本均值和样本方差是两个最重要的统计量
样本均值:
样本方差:
统计推断的基本问题可以分为两大类:参数估计(estimation theory)和假设检验(hypothesis test)

参数估计

参数估计是通过随机抽取的样本来估计总体分布的方法,又可以进一步划分为点估计(point estimation)和区间估计(interval estimation)。在已知总体分布函数形式,但未知其一个或者多个参数时,借助于总体的一个样本来估计未知参数的取值就是参数的点估计。点估计的核心在于构造合适的统计量 ,并用这个统计量的观察值作为未知参数 的近似值。点估计的具体方法包括矩估计法(method of moments)和最大似然估计法(maximum likelihood estimation)。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《人工智能基础课》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(30)

  • 最新
  • 精选
  • 小太白
    有点疑惑,数理统计 和 贝叶斯方法中的后验概率计算 之间有何区别和联系? 谢谢!

    作者回复: 思路是类似的,但数理统计是从有限的数据出发进行推测,因此除了给出待估计的参数的取值之外,还要计算出取值的可信程度,就像一个从不把话说死的人。

    13
  • 宋不肥
    研一快结束了,修完了矩阵论,数理统计,最优化和数值分析,重新来听了一遍,感觉讲了很不错,讲的很精炼,但感觉对真正完全的初学者不是很友好。。。比如上学期刚开学的我。。。

    作者回复: 有点基础能更快地进入节奏

    2
    7
  • 吴文敏
    范化误差的三部分中,我知道偏差和方差是和模型相关的,我们可以通过调整假设改变模型进而trade-off两者。噪音是和模型无关的吗?也就是说噪音表示当前学习任务的理论瓶颈?

    作者回复: 关于噪声可以这么理解,因为再好的模型也不会降低问题的难度。梯子可以让你爬得更好,却没法把墙变矮。

    6
  • 杨家荣
    打卡第一天(1/21): <<人工智能基础课03>> 机器学习本质上是一种算法,这种算法由数据分析习得,而且不依赖于规则导向的程序设计; 统计建模则是以数据为基础,利用数学方程式来探究变量变化规律的一套规范化流程。 机器学习和数理统计的确具有相同的目标:从数据中学习, 他们的核心都是探讨如何从数据中提取人们需要的信息或规律; 不同点: 1,机器学习更多地强调优化和性能,而统计学则更注重推导。 2,机器学习是数据越多,预测通常就越准确,是黑盒; 相比较数理统计:则必须了解数据的收集方式,估计量(包括p值和无偏估计)的统计特征,被研究人群的潜在分布规律,以及多次试验的期望参数的类型。研究人员需要非常清楚自己在做什么,并提出具有预测能力的参数。而且统计建模通常用于较低维度的数据集; 总的来说,我们可以认为机器学习和统计建模是预测建模领域的两个不同分支。这两者之间的差距在过去的 10 年中正在不断缩小,而且它们之间存在许多相互学习和借鉴的地方。未来,它们之间的联系将会更加紧密。 今天学到了: 数理统计与概率论的不同是在于:概率论在找下一个点,数理统计是局部推整体 数理统计相关名词:数理统计,概率论,样本均值,样本方差,点估计(矩估计,最大似然估计法[无偏性,有效性,一致性]),区间估计,置信区间,泛化误差(偏差,方差,噪声)

    作者回复: 打卡效果max!

    4
  • 上善若水
    股市不能预测,因为导致概率变化的条件不能穷尽,而且那种条件有时很难作为独立事件

    作者回复: 是的,要预测股市需要把所有人的行为,以及他们之间的互相影响都进行建模,这种微观预测是实现不了的。

    2
  • 上善若水
    人工智能只能在样本限定范围内来做推演

    作者回复: 人类自己的思维方式也是这样,从有限到无限,从特殊到一般

    2
  • hockidoggy
    我觉得数理统计更偏向于从理论角度研究方法论,进而探讨如何应用。而机器学习是基于一类场景,从解决问题的角度出发来寻找适合的方法,是数理统计在具体应用层面的一个分支。

    作者回复: 可以这么理解,机器学习的各种算法是数理统计思想的载体。

    2
  • Hanan
    模型的偏差越大就越欠拟合,也就是训练误差越大;方差越大就是越过拟合,也就是测试误差越大。请问可以这样理解吗?

    作者回复: 可以这么理解,但欠拟合的测试误差也会很大,所以两个都是要避免的情况。

    1
  • Geek_jianghao
    为什么学习器不是通过对训练数据学习到具有普适性的模型呢?

    作者回复: 是的,就是训练集,犯了个低级错误。

    1
  • 🐸吸烟的青蛙
    置信区间可以用如下的方式直观解释:对总体反复抽样多次,每次得到容量相同的样本,则根据每一组样本值都可以确定出一个置信区间 (\underset{\raise0.3em\hbox{\smash{\scriptscriptstyle-}}}{\theta } ,\bar \theta),其上界和下界是样本的两个统计量,分别代表了置信上限和置信下限。 小编?置信区间的公式展示有问题,麻烦处理?

    作者回复: 其实公式就是一个下划线和一个上划线

收起评论
显示
设置
留言
30
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部