作为有向图模型的代表,贝叶斯网络将随机变量之间的条件独立性与依赖关系嵌入到图结构之中,既有助于直观表示,又能简化计算。但这是不是意味着贝叶斯网络可以通吃所有概率关系呢?并非如此。
下面这个例子就说明了贝叶斯网络的局限之处,它取自达芙妮·科勒(Daphne Koller)的经典教材《概率图模型》(Probabilistic Graphical Models)的例 3.8。
“四个学生 Alice、Bob、Charles 和 Debbie 在一个学习小组中,但由于 A 和 C、B 和 D 两两之间因为感情的纠葛导致没有交流,因此每个人可以交流的对象都只有 2 个。这样的关系应该如何表示呢?”
这四个学生可以建模成概率图中的四个结点,也就是四个随机变量。用贝叶斯网络构造这组关系时,由于 A 和 C 之间不存在交流,两者之间也就没有信息的流动,所以在给定 B 和 D 的前提下,A 和 C 是条件独立的;同样的道理,在给定 A 和 C 的前提下,B 和 D 也是条件独立的。这就要求构造出来的贝叶斯网络能够同时表示这两组条件独立性。
贝叶斯网络的局限性(图片来自 Probabilistic Graphical Models,图 3.10)
上图表示的是两种可能的贝叶斯网络结构,但两者都没法同时表示两个条件独立性。在左侧的子图中,从 A 到 C 的两条通路都是顺连结构,中间的结点分别是 B 和 D。固定的 B 和 D 堵塞了信息流动的通道,从而保证了 A 和 C 的条件独立性。