40 | 结构学习:基于约束与基于评分
王天一
该思维导图由 AI 生成,仅供参考
看完了参数学习,我们再来看看结构学习。
结构学习(structure learning)的任务是找到与数据匹配度最高的网络结构,需要同时学习未知图模型的结构和参数。这也很容易理解:模型的结构都不知道,参数自然也是不知道的,所以需要一并来学习。结构学习的任务是根据训练数据集找到结构最恰当的模型,这无疑比参数学习要复杂得多,也有更多的不确定性。
对图模型进行结构学习的目的有两个。一方面在于知识发现(knowledge discovery),根据因变量的结果来判定自变量之间的依赖关系;另一方面则在于密度估计(density estimation),估计出数据分布的特性,据此对新样本进行推断。
对图模型进行结构学习有哪些方法呢?主要有三种,分别是基于约束的学习、基于评分的学习和基于回归的学习,这三种方法都可以应用在有向的贝叶斯网络和无向的马尔可夫随机场中,但在下面的介绍中我将以较为简单的贝叶斯网络为例。
基于约束的结构学习(constraint-based structure learning)将贝叶斯网络视为条件独立性的表示,与贝叶斯网络的语义非常贴近。这种方法首先从数据中识别出一组条件独立性作为约束,然后尝试找到最符合这些约束的网络结构。基于约束的学习与贝叶斯网络的结构特征密切相关,但它缺乏类似于似然函数的显式目标函数,因而不能直接找到全局的最优结构,也就不适用于概率框架。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
图模型的结构学习是一项关键任务,旨在找到与数据匹配度最高的网络结构,需要同时确定图模型的结构和参数。本文介绍了三种主要的结构学习方法:基于约束的学习、基于评分的学习和基于回归的学习。基于约束的学习将贝叶斯网络视为条件独立性的表示,通过识别条件独立性约束来找到最符合约束的网络结构。基于评分的学习将结构学习问题处理为模型选择问题,通过定义评分函数来搜索出评分最高的结构。基于回归的学习将目标函数表示为图模型参数的线性组合,再对线性模型进行正则化处理来控制模型的复杂度。这些方法都可以应用在有向的贝叶斯网络和无向的马尔可夫随机场中。此外,文章还介绍了处理隐变量的结构EM算法。这些方法在完全观测数据的基础上进行,如果模型中存在隐变量,结构学习的难度也会大大增加。总的来说,本文通过介绍不同的结构学习方法,为读者提供了对图模型结构学习的全面了解。文章还提到了贝叶斯结构学习的更多细节,包括贝叶斯模型选择和选择性贝叶斯模型平均两种简化贝叶斯结构学习的方式。这些内容为读者提供了深入了解图模型结构学习的思想与方法的机会。
仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《机器学习 40 讲》,新⼈⾸单¥59
《机器学习 40 讲》,新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
- polar老师,好!整个教程过了一遍,老师讲的系统,但是,对于我个人印象不怎么深刻,老师有没有对应的示例代码,分享一下,想通过这种方式加深一下理解2018-12-278
- ifelse学习打卡2023-06-26归属地:浙江
收起评论