机器学习 40 讲
王天一
工学博士,副教授
35376 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

39 | 隐变量下的参数学习:EM方法与混合模型

使用EM算法,也称为Baum-Welch算法
通过EM算法进行学习
由K个高斯分布混合而成的模型
通过最大化期望步骤的结果来计算新的参数估计值
计算完备数据的似然概率关于隐变量的数学期望
隐马尔可夫网络
高斯混合模型
最大化步骤
期望步骤
在隐变量模型的参数学习中发挥重要作用
应用
原理
用途
期望最大化算法

该思维导图由 AI 生成,仅供参考

前面我曾介绍过隐马尔可夫和线性动态系统这类隐变量模型。所谓的隐变量表示的其实是数据的不完整性,也就是训练数据并不能给出关于模型结果的全部信息,因此只能对模型中未知的状态做出概率性的推测。
在今天这一讲中,我将和你分享一种在隐变量模型的参数学习中发挥重要作用的方法:期望最大化算法。
期望最大化算法(expectation-maximization algorithm, EM)是用于计算最大似然估计的迭代方法,其中的期望步骤(expectation step)利用当前的参数来生成关于隐变量概率的期望函数,最大化步骤(maximization step)则寻找让期望函数最大的一组参数,并将这组参数应用到下一轮的期望步骤中。如此循环往复,算法就可以估计出隐变量的概率分布。
EM 算法虽然可以在不能直接求解方程时找到统计模型的最大似然参数,但它并不能保证收敛到全局最优。一般来说,似然函数的最大化会涉及对所有未知参量求导,这在隐变量模型中是无法实现的。
EM 算法的解决方法是将求解过程转化为一组互锁的方程,它们就像联动的齿轮一样,通过待求解参数和未知状态变量的不断迭代、交叉使用来求解最大似然。
具体的做法是给两组未知数中的一组选择任意值,使用它们来估计另一组,然后使用这些更新的取值来找到前一组的更好估计,然后在两者之间交互更新,直到得到的值都收敛到固定点。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

期望最大化算法(EM)是一种用于计算最大似然估计的迭代方法,特别适用于含有隐变量的概率图模型的学习。该算法通过期望步骤和最大化步骤交替进行,利用当前参数生成关于隐变量概率的期望函数,并寻找使期望函数最大化的参数组。EM算法的应用举例包括硬币投掷和高斯混合模型。在高斯混合模型中,EM算法通过迭代计算完备数据的似然概率关于隐变量的数学期望,并通过最大化步骤计算新的参数估计值。此外,EM算法也被应用于隐马尔可夫网络的学习,通常被称为Baum-Welch算法。EM算法的原理和应用为读者提供了对该算法的全面了解,是一种重要的参数学习方法。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • 皮皮侠
    打卡
    2023-12-17归属地:江苏
  • ifelse
    学习打卡
    2023-06-25归属地:浙江
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部