36 | 确定近似推断：变分贝叶斯
王天一
虽然精确推断能够准确计算结果，但它的应用范围却严重受限。当网络的规模较大、结点较多时，大量复杂的因子会严重削弱精确推断的可操作性，虽然这类方法在原则上依然可行，却难以解决实际问题。
另一方面，如果模型中同时存在隐变量等非观测变量和未知的参数时，复杂的隐藏状态空间也会让精确的数值计算变得难以实现。要在这样的模型上实现推断，就不得不借助近似推断。
近似推断是在精确性和计算资源两者之间的折中。如果具有无限的计算资源，精确推断也不是不能实现，但近似推断可以在有限时间内解决问题，而不是画一张水月镜花的大饼。从实现方式上看，近似推断可以分为确定性近似和随机性近似两类，今天我先和你聊聊确定性近似。
确定性近似（deterministic approximation）属于解析近似（analytical approximation）的范畴。绝大多数贝叶斯推断任务最终都可以归结到后验概率的计算，算出来的后验概率在理想情况下应该以解析式的形式出现。
当这个函数复杂到没法用解析式表达时，一个直观的思路是找到另一个形式更简洁的函数按照一定规则来尽可能地逼近这个复杂函数，这种方法就是确定性近似。我们再熟悉不过的四舍五入其实就是最简单的确定性近似。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
余晓飞变分下界这一段前面两个公式没看懂，前一个连等式中E的下标q指什么？并且第二个不等式的符号是不写错了？作者回复: q是人为引入的分布，是对公式里p的近似，其实表示的就是隐变量的分布。不等式符号来源于均值的对数大于对数项的均值，没问题。
1
ifelse
学习打卡归属地：浙江
尖耳朵的阿凡达弟弟希望有一个例子对照，这样能容易理解
收起评论