总结课 | 贝叶斯学习的模型体系
王天一
该思维导图由 AI 生成，仅供参考
在今天这篇总结中，我将对贝叶斯机器学习中涉及的模型做一个系统的梳理。虽然这个模块的主题是概率图模型，内容也围绕着概率图的三大问题——表示、推断和学习展开，但概率图归根结底是手段，其目的是将概率分布用图结构表示出来，进而从贝叶斯定理出发，从概率角度解决机器学习的问题。因此从宏观的角度来对概率模型加以整理是很有必要的。
概率模型基本上都属于生成模型，它们可以建模数据的生成机制，这和统计机器学习以判别模型为主的特色形成鲜明的对比。在统计学习中，几乎所有模型都可以追溯到线性回归的演化，在贝叶斯学习里，起到万物之源作用的是具有最大不确定性的高斯分布，对高斯分布的不同处理方式决定了不同的数据生成方式。
在观察高斯分布的演化时，不妨先从外部入手。最简单的外部拓展方法就是混合，将多个不同数字特征的高斯分布混杂在一起，先按一定概率抽取成分，再根据选定的成分分布生成数据，这种生成模型就是高斯混合模型。在高斯混合模型里，决定每个时刻的观察结果到底来自哪个成分的变量不能被直接观测，因而是隐变量。
除了横向意义上的混合之外，纵向意义上的时序也是外部演化的常见手段，这相当于在数据序列中引入马尔可夫性。如果给高斯混合模型中的隐变量添加时序关系，让下一时刻的状态依赖于这一时刻的状态，就形成了隐马尔可夫模型。如果隐马尔可夫模型的状态数目从有限扩展到无穷多，又形成了线性动态系统。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
贝叶斯学习的模型体系涉及概率图模型，主要围绕概率图的表示、推断和学习展开。概率模型属于生成模型，与统计机器学习的判别模型形成对比。贝叶斯学习以高斯分布为基础，通过外部和内部拓展形成不同模型，如高斯混合模型、隐马尔可夫模型和线性动态系统。内部改进包括非线性化、局部化和稀疏化，如因子分析和矢量量化。这些模型可以组合形成更复杂的模型，如非线性的高斯网络和混合隐马尔可夫模型。推荐的参考书籍包括《贝叶斯方法》和《贝叶斯思维》，以及《贝叶斯统计方法》和《贝叶斯数据分析》等。这些书籍涵盖了贝叶斯概率理论的入门和进阶内容，适合读者快速了解和深入学习。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《机器学习 40 讲》，新⼈⾸单¥59
《机器学习 40 讲》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(4)
- 最新
- 精选
吕胜老师可以开专栏继续讲解深度学习的理论作者回复: 深度学习在理论上其实无甚稀奇，都是机器学习里的冷饭，但其中的算法确实精妙。
2018-09-095
Wang老师认为最大熵模型属于概率图模型这一类别吗？如果不是那应该属于什么呢？ 希望老师能百忙之中抽出宝贵的时间回答下作者回复: 最大熵与其说是具体的方法，莫不如说是一种思路，通过引入最少的未经证实的假设来增加模型的通用性。不光在机器学习，在其他的信息处理任务中也有应用。当然在应用上，最大熵模型和softmax，和条件随机场都一脉相承。
2019-03-01
林彦建议可以在某个细分领域，比如对自然语言处理，图像或语音的应用案例做一些方法和算法的讲解。2018-09-143
ifelse
学习打卡2023-06-27归属地：浙江
收起评论