36 | 确定近似推断：变分贝叶斯

该思维导图由 AI 生成，仅供参考

变分贝叶斯推断是一种近似推断方法，用于解决复杂模型中难以计算的后验概率分布。通过利用最优的近似概率分布来逼近后验概率，变分贝叶斯推断通过变分下界来表示隐变量的预测分布和真实分布之间的接近程度。采用平均场理论的方法，将复杂的多变量分布分解成独立的因子分布，从而简化计算。变分贝叶斯推断将推断问题转化为泛函的优化问题，通过优化变分下界来拟合复杂的后验分布。在贝叶斯网络中，变分消息传播算法可以实现自动化的推理，通过父节点向子节点传播自身分布的充分统计量的数学期望，以及子节点向父节点传播自身分布的自然参数来逐渐逼近最优值。与EM算法相比，变分贝叶斯推断也是一种处理未知参数和隐变量的方法，二者之间有着千丝万缕的联系。变分贝叶斯推断的基本原理和其与EM算法的关联包括以下四个要点：变分贝叶斯推断是基于确定性近似的推断方法；变分贝叶斯用简单的近似分布来拟合真实的后验分布，并利用平均场分解简化对变分下界的优化；变分消息传播可以在贝叶斯网络上实现变分推断；变分贝叶斯和EM算法都是对隐变量的处理，可以从统一的角度分析。《从统计学看变分推断》是一篇很好的综述，以贝叶斯高斯混合模型为例介绍了变分推断的具体应用，可供读者深入研究。