机器学习40讲
王天一
工学博士，副教授
立即订阅
8040 人已学习
课程目录
已完结 44 讲
0/4登录后，你可以任选4讲全文学习。
开篇词 (1讲)
开篇词 | 打通修炼机器学习的任督二脉
免费
机器学习概观 (10讲)
01 | 频率视角下的机器学习
02 | 贝叶斯视角下的机器学习
03 | 学什么与怎么学
04 | 计算学习理论
05 | 模型的分类方式
06 | 模型的设计准则
07 | 模型的验证方法
08 | 模型的评估指标
09 | 实验设计
10 | 特征预处理
统计机器学习模型 (18讲)
11 | 基础线性回归：一元与多元
12 | 正则化处理：收缩方法与边际化
13 | 线性降维：主成分的使用
14 | 非线性降维：流形学习
15 | 从回归到分类：联系函数与降维
16 | 建模非正态分布：广义线性模型
17 | 几何角度看分类：支持向量机
18 | 从全局到局部：核技巧
19 | 非参数化的局部模型：K近邻
20 | 基于距离的学习：聚类与度量学习
21 | 基函数扩展：属性的非线性化
22 | 自适应的基函数：神经网络
23 | 层次化的神经网络：深度学习
24 | 深度编解码：表示学习
25 | 基于特征的区域划分：树模型
26 | 集成化处理：Boosting与Bagging
27 | 万能模型：梯度提升与随机森林
总结课 | 机器学习的模型体系
概率图模型 (14讲)
28 | 最简单的概率图：朴素贝叶斯
29 | 有向图模型：贝叶斯网络
30 | 无向图模型：马尔可夫随机场
31 | 建模连续分布：高斯网络
32 | 从有限到无限：高斯过程
33 | 序列化建模：隐马尔可夫模型
34 | 连续序列化模型：线性动态系统
35 | 精确推断：变量消除及其拓展
36 | 确定近似推断：变分贝叶斯
37 | 随机近似推断：MCMC
38 | 完备数据下的参数学习：有向图与无向图
39 | 隐变量下的参数学习：EM方法与混合模型
40 | 结构学习：基于约束与基于评分
总结课 | 贝叶斯学习的模型体系
结束语 (1讲)
结课 | 终有一天，你将为今天的付出骄傲
机器学习40讲
登录|注册
30 | 无向图模型：马尔可夫随机场
王天一 2018-08-14
作为有向图模型的代表，贝叶斯网络将随机变量之间的条件独立性与依赖关系嵌入到图结构之中，既有助于直观表示，又能简化计算。但这是不是意味着贝叶斯网络可以通吃所有概率关系呢？并非如此。
下面这个例子就说明了贝叶斯网络的局限之处，它取自达芙妮·科勒（Daphne Koller）的经典教材《概率图模型》（Probabilistic Graphical Models）的例 3.8。
“四个学生 Alice、Bob、Charles 和 Debbie 在一个学习小组中，但由于 A 和 C、B 和 D 两两之间因为感情的纠葛导致没有交流，因此每个人可以交流的对象都只有 2 个。这样的关系应该如何表示呢？”
这四个学生可以建模成概率图中的四个结点，也就是四个随机变量。用贝叶斯网络构造这组关系时，由于 A 和 C 之间不存在交流，两者之间也就没有信息的流动，所以在给定 B 和 D 的前提下，A 和 C 是条件独立的；同样的道理，在给定 A 和 C 的前提下，B 和 D 也是条件独立的。这就要求构造出来的贝叶斯网络能够同时表示这两组条件独立性。
贝叶斯网络的局限性（图片来自 Probabilistic Graphical Models，图 3.10）
上图表示的是两种可能的贝叶斯网络结构，但两者都没法同时表示两个条件独立性。在左侧的子图中，从 A 到 C 的两条通路都是顺连结构，中间的结点分别是 B 和 D。固定的 B 和 D 堵塞了信息流动的通道，从而保证了 A 和 C 的条件独立性。
取消
完成
0/1000字
划线
笔记
复制
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
该试读文章来自付费专栏《机器学习40讲》，如需阅读全部文章，
请订阅文章所属专栏。
请订阅文章所属专栏。
立即订阅
登录 后留言
精选留言(3)
夏震华(围巾)老师能提个意见不，code 可以加注释吗!
这段代码我看不懂，实在是不知道在做什么。。。
model = MarkovModel([('A', 'B'), ('B', 'C'), ('C', 'D'), ('D', 'A')])
model.add_factors(phi_1, phi_2, phi_3, phi_4)
phi = phi_1 * phi_2 * phi_3 * phi_4
Z = model.get_partition_function()
normalized = phi.values / Z
print(normalized)作者回复: 因为使用的编辑器不支持中文注释，索性就没有添加了。
这段代码的内容是建立马尔可夫网的模型，并定义网络节点之间的依赖关系，比如AB两个变量之间存在关联，它们之间的因子函数被定义为phi_1。整个网络的因子函数就是每个单独因子的乘积。
因子函数不满足归一化的条件，所以要把它改写成概率的形式，就必须进行额外的归一化，后面两行就是归一化的过程。
至于代码中具体函数的用法，可以参考pgmpy的文档，里面也有说明。2018-11-08 1
林彦马尔可夫随机场在图像处理中的应用我的理解是根据图像中每个像素点的邻域标签来优化其标签。抽象来看分割，去噪和目标识别都可以用这个方法来处理。
这里可以用一种不够精确的像素分类先保证大多数图像有一个较准确的分类，再应用马尔可夫随机场令图像中某一点的特性或分类只与其附近的邻域有关。图像中的每一个像素就代表概率图模型中的顶点。在随机场中，利用邻域系统可以分析空间上的马尔科夫性：一个像素点的特性，更可能受它周围像素的影响，与它距离越远的像素，对它的特性的影响越小。邻域系统定义了图像中一个像素（中心像素），受周围哪些像素的影响。中心像素和相邻像素一起，构成的集合就是团(clique)。
具体计算中用吉布斯分布的密度函数来计算标记(标签)场的先验概率，即求周围像素点中各个标签出现的概率多大，然后用高斯分布的密度函数求解所求像素点属于哪个标签的概率最大，即这个像素点的条件概率（似然函数）。根据贝叶斯公式目标就是寻找这2个函数值乘积最大的分类标签。2018-08-31- 林彦请问老师马尔可夫随机场中的3种形式的条件独立性(马尔可夫性)是同时都成立吗？就是只要是马尔科夫随机场，就满足这种条件独立性？谢谢。
作者回复: 三个强度不一样，全局>局部>成对
2018-08-31
收起评论