37 | 随机近似推断：MCMC
王天一
该思维导图由 AI 生成，仅供参考
本质上说，确定性近似是遵循着一定的原则，使用一个分布来近似另一个分布，近似结果取决于确定的规则。可是在很多预测任务中，完整的后验分布并不是必需的，我们关注的对象只是某个因变量在后验分布下的期望，或者具有最大后验概率的那个取值。这时再使用确定性近似来计算预测结果，尤其是连续函数在连续分布下的预测结果又是个在计算上颇为棘手的问题。
有些时候，即使目标分布的形式是已知的，对它的求解也存在着困难。就拿常见的 Beta 分布来说，其概率密度可以表示为 ，其中常数 都是分布参数，常数 是归一化因子。可问题在于如果不能计算出这个复杂的参数 ，即使能够确定分布的形状，也没法对分布进行直接的采样。这种情况下也要借助随机性近似。
既然求解解析解既复杂繁冗又无甚必要，那就不妨用统计学的核心概念——抽样来解决问题。用样本分布来代替难以求解的后验分布，这就是随机性近似的思想。
随机性近似（stochastic approximation）属于数值近似（numerical approximation）的范畴，它对数据的生成机制进行建模，通过模型生成符合真实分布的抽样结果，再利用这些抽样结果表示未知的概率分布。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
MCMC方法是一种基于随机近似推断的技术，通过构造合适的马尔可夫链并应用蒙特卡洛方法进行随机采样来拟合目标的分布。该方法通过抽样来代替难以求解的后验分布，解决了在预测任务中不必要计算完整后验分布的问题。MCMC体现了真正的概率密度思想，能够将概率等比例地放大，消除了归一化常数对概率求解的影响。在MCMC中，马尔可夫链的引入使得数据样本可以轻松地服从稳态分布，而Metropolis算法则结合了马尔可夫链的拒绝采样，通过对称的转移概率生成新样本，并根据接受策略确定是否保留。此外，文章还介绍了MH算法和吉布斯采样等具体的实现方式。总的来说，MCMC方法的关键问题在于找到和目标稳态分布匹配的转移矩阵，而转移概率或者建议分布的选择是关键因素，其设计的优劣会直接影响到算法的性能。整体而言，MCMC方法在概率密度估计和估算问题中具有广泛的应用价值。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
- 韶华能给出一个具体的例子吗？这个理论我非常感兴趣，好像增强学习里面，包括Alpha元也都用到了，但是我还是没有完全理解，感觉特别抽象！
作者回复: 可以参考文末的例子或者搜索Thomas Wiecki的MCMC sampling for dummies。另外Alpha那个是蒙特卡洛树搜索吧？
2018-08-301 
唐稳我对”蒙特卡洛方法只是随机采样的过程，而要确保采出来的样本服从我们想要的分布，需要借助第一个 MC：”有点疑问。 我认为基于蒙特卡洛方法的直接采样，接受拒绝采样等方法都能得到服从某个分布的数据，只是适用范围有限，比如不能求解高维空间的采样。作者回复: 其实看你怎么定义蒙特卡洛，这里是只把蒙特卡洛作为随机近似的方法，各种采样已经是蒙特卡洛的具体应用了。
2019-05-13
ifelse
学习打卡2023-06-23归属地：浙江
收起评论