机器学习40讲
王天一
工学博士,副教授
立即订阅
8040 人已学习
课程目录
已完结 44 讲
0/4登录后,你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 打通修炼机器学习的任督二脉
免费
机器学习概观 (10讲)
01 | 频率视角下的机器学习
02 | 贝叶斯视角下的机器学习
03 | 学什么与怎么学
04 | 计算学习理论
05 | 模型的分类方式
06 | 模型的设计准则
07 | 模型的验证方法
08 | 模型的评估指标
09 | 实验设计
10 | 特征预处理
统计机器学习模型 (18讲)
11 | 基础线性回归:一元与多元
12 | 正则化处理:收缩方法与边际化
13 | 线性降维:主成分的使用
14 | 非线性降维:流形学习
15 | 从回归到分类:联系函数与降维
16 | 建模非正态分布:广义线性模型
17 | 几何角度看分类:支持向量机
18 | 从全局到局部:核技巧
19 | 非参数化的局部模型:K近邻
20 | 基于距离的学习:聚类与度量学习
21 | 基函数扩展:属性的非线性化
22 | 自适应的基函数:神经网络
23 | 层次化的神经网络:深度学习
24 | 深度编解码:表示学习
25 | 基于特征的区域划分:树模型
26 | 集成化处理:Boosting与Bagging
27 | 万能模型:梯度提升与随机森林
总结课 | 机器学习的模型体系
概率图模型 (14讲)
28 | 最简单的概率图:朴素贝叶斯
29 | 有向图模型:贝叶斯网络
30 | 无向图模型:马尔可夫随机场
31 | 建模连续分布:高斯网络
32 | 从有限到无限:高斯过程
33 | 序列化建模:隐马尔可夫模型
34 | 连续序列化模型:线性动态系统
35 | 精确推断:变量消除及其拓展
36 | 确定近似推断:变分贝叶斯
37 | 随机近似推断:MCMC
38 | 完备数据下的参数学习:有向图与无向图
39 | 隐变量下的参数学习:EM方法与混合模型
40 | 结构学习:基于约束与基于评分
总结课 | 贝叶斯学习的模型体系
结束语 (1讲)
结课 | 终有一天,你将为今天的付出骄傲
机器学习40讲
登录|注册

37 | 随机近似推断:MCMC

王天一 2018-08-30
本质上说,确定性近似是遵循着一定的原则,使用一个分布来近似另一个分布,近似结果取决于确定的规则。可是在很多预测任务中,完整的后验分布并不是必需的,我们关注的对象只是某个因变量在后验分布下的期望,或者具有最大后验概率的那个取值。这时再使用确定性近似来计算预测结果,尤其是连续函数在连续分布下的预测结果又是个在计算上颇为棘手的问题。
有些时候,即使目标分布的形式是已知的,对它的求解也存在着困难。就拿常见的 Beta 分布来说,其概率密度可以表示为 ,其中常数 都是分布参数,常数 是归一化因子。可问题在于如果不能计算出这个复杂的参数 ,即使能够确定分布的形状,也没法对分布进行直接的采样。这种情况下也要借助随机性近似。
既然求解解析解既复杂繁冗又无甚必要,那就不妨用统计学的核心概念——抽样来解决问题。用样本分布来代替难以求解的后验分布,这就是随机性近似的思想
随机性近似(stochastic approximation)属于数值近似(numerical approximation)的范畴,它对数据的生成机制进行建模,通过模型生成符合真实分布的抽样结果,再利用这些抽样结果表示未知的概率分布。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《机器学习40讲》,如需阅读全部文章,
请订阅文章所属专栏。
立即订阅
登录 后留言

精选留言(2)

  • 唐稳
    我对”蒙特卡洛方法只是随机采样的过程,而要确保采出来的样本服从我们想要的分布,需要借助第一个 MC:”有点疑问。
    我认为基于蒙特卡洛方法的直接采样,接受拒绝采样等方法都能得到服从某个分布的数据,只是适用范围有限,比如不能求解高维空间的采样。

    作者回复: 其实看你怎么定义蒙特卡洛,这里是只把蒙特卡洛作为随机近似的方法,各种采样已经是蒙特卡洛的具体应用了。

    2019-05-13
  • 韶华
    能给出一个具体的例子吗?这个理论我非常感兴趣,好像增强学习里面,包括Alpha元也都用到了,但是我还是没有完全理解,感觉特别抽象!

    作者回复: 可以参考文末的例子或者搜索Thomas Wiecki的MCMC sampling for dummies。另外Alpha那个是蒙特卡洛树搜索吧?

    2018-08-30
收起评论
2
返回
顶部