机器学习 40 讲
王天一
工学博士,副教授
34688 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

37 | 随机近似推断:MCMC

本质上说,确定性近似是遵循着一定的原则,使用一个分布来近似另一个分布,近似结果取决于确定的规则。可是在很多预测任务中,完整的后验分布并不是必需的,我们关注的对象只是某个因变量在后验分布下的期望,或者具有最大后验概率的那个取值。这时再使用确定性近似来计算预测结果,尤其是连续函数在连续分布下的预测结果又是个在计算上颇为棘手的问题。
有些时候,即使目标分布的形式是已知的,对它的求解也存在着困难。就拿常见的 Beta 分布来说,其概率密度可以表示为 ,其中常数 都是分布参数,常数 是归一化因子。可问题在于如果不能计算出这个复杂的参数 ,即使能够确定分布的形状,也没法对分布进行直接的采样。这种情况下也要借助随机性近似。
既然求解解析解既复杂繁冗又无甚必要,那就不妨用统计学的核心概念——抽样来解决问题。用样本分布来代替难以求解的后验分布,这就是随机性近似的思想
随机性近似(stochastic approximation)属于数值近似(numerical approximation)的范畴,它对数据的生成机制进行建模,通过模型生成符合真实分布的抽样结果,再利用这些抽样结果表示未知的概率分布。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(3)

  • 最新
  • 精选
  • 韶华
    能给出一个具体的例子吗?这个理论我非常感兴趣,好像增强学习里面,包括Alpha元也都用到了,但是我还是没有完全理解,感觉特别抽象!

    作者回复: 可以参考文末的例子或者搜索Thomas Wiecki的MCMC sampling for dummies。另外Alpha那个是蒙特卡洛树搜索吧?

    1
  • 唐稳
    我对”蒙特卡洛方法只是随机采样的过程,而要确保采出来的样本服从我们想要的分布,需要借助第一个 MC:”有点疑问。 我认为基于蒙特卡洛方法的直接采样,接受拒绝采样等方法都能得到服从某个分布的数据,只是适用范围有限,比如不能求解高维空间的采样。

    作者回复: 其实看你怎么定义蒙特卡洛,这里是只把蒙特卡洛作为随机近似的方法,各种采样已经是蒙特卡洛的具体应用了。

  • ifelse
    学习打卡
    归属地:浙江
收起评论
显示
设置
留言
3
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部