机器学习 40 讲
王天一
工学博士,副教授
35376 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已完结/共 46 讲
机器学习 40 讲
15
15
1.0x
00:00/00:00
登录|注册

40 | 结构学习:基于约束与基于评分

确定边的方向
确定边的存在性
判定结点之间是否应该有边存在
处理具有隐变量的模型
控制模型的复杂度
将目标函数表示为图模型参数的线性组合
启发式算法
贝叶斯信息量准则
赤池信息量准则
最小描述长度
选择合适的评分函数
处理为模型选择问题
SGS算法
将贝叶斯网络视为条件独立性的表示
同时确定图模型的结构和参数
找到与数据匹配度最高的网络结构
选择性贝叶斯模型平均
贝叶斯模型选择
结构EM算法
基于回归的结构学习
基于评分的结构学习
基于约束的结构学习
结构学习的任务
贝叶斯结构学习
对图模型进行结构学习的方法

该思维导图由 AI 生成,仅供参考

看完了参数学习,我们再来看看结构学习。
结构学习(structure learning)的任务是找到与数据匹配度最高的网络结构,需要同时学习未知图模型的结构和参数。这也很容易理解:模型的结构都不知道,参数自然也是不知道的,所以需要一并来学习。结构学习的任务是根据训练数据集找到结构最恰当的模型,这无疑比参数学习要复杂得多,也有更多的不确定性。
对图模型进行结构学习的目的有两个。一方面在于知识发现(knowledge discovery),根据因变量的结果来判定自变量之间的依赖关系;另一方面则在于密度估计(density estimation),估计出数据分布的特性,据此对新样本进行推断。
对图模型进行结构学习有哪些方法呢?主要有三种,分别是基于约束的学习基于评分的学习基于回归的学习,这三种方法都可以应用在有向的贝叶斯网络和无向的马尔可夫随机场中,但在下面的介绍中我将以较为简单的贝叶斯网络为例。
基于约束的结构学习(constraint-based structure learning)将贝叶斯网络视为条件独立性的表示,与贝叶斯网络的语义非常贴近。这种方法首先从数据中识别出一组条件独立性作为约束,然后尝试找到最符合这些约束的网络结构。基于约束的学习与贝叶斯网络的结构特征密切相关,但它缺乏类似于似然函数的显式目标函数,因而不能直接找到全局的最优结构,也就不适用于概率框架。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

图模型的结构学习是一项关键任务,旨在找到与数据匹配度最高的网络结构,需要同时确定图模型的结构和参数。本文介绍了三种主要的结构学习方法:基于约束的学习、基于评分的学习和基于回归的学习。基于约束的学习将贝叶斯网络视为条件独立性的表示,通过识别条件独立性约束来找到最符合约束的网络结构。基于评分的学习将结构学习问题处理为模型选择问题,通过定义评分函数来搜索出评分最高的结构。基于回归的学习将目标函数表示为图模型参数的线性组合,再对线性模型进行正则化处理来控制模型的复杂度。这些方法都可以应用在有向的贝叶斯网络和无向的马尔可夫随机场中。此外,文章还介绍了处理隐变量的结构EM算法。这些方法在完全观测数据的基础上进行,如果模型中存在隐变量,结构学习的难度也会大大增加。总的来说,本文通过介绍不同的结构学习方法,为读者提供了对图模型结构学习的全面了解。文章还提到了贝叶斯结构学习的更多细节,包括贝叶斯模型选择和选择性贝叶斯模型平均两种简化贝叶斯结构学习的方式。这些内容为读者提供了深入了解图模型结构学习的思想与方法的机会。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》
新⼈⾸单¥59
立即购买
登录 后留言

全部留言(2)

  • 最新
  • 精选
  • polar
    老师,好!整个教程过了一遍,老师讲的系统,但是,对于我个人印象不怎么深刻,老师有没有对应的示例代码,分享一下,想通过这种方式加深一下理解
    2018-12-27
    8
  • ifelse
    学习打卡
    2023-06-26归属地:浙江
收起评论
显示
设置
留言
2
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部