3.2.2 贝叶斯网络中的有向分离
条件独立从概率的角度来判断节点与节点之间是否是相关的,首先需要知道其概率分布,以及状态取值。实际上,在贝叶斯网络中,可以从图的角度来分析节点之间的独立性和相关性。在贝叶斯网络中,有向分离(D-Separation)对应于概率论中的条件独立性,它的目的是从图的角度寻找节点之间的条件独立性。对于互不相交的节点集(X,Y,Z),X和Y关于Z条件独立的必要条件在于Z能够有向分离X和Y。
如图3.3所示,考虑三类特殊的节点连接情况:第一类是顺序连接(Xi→Xk→Xj),其中Xk为头对尾节点;第二类是发散连接(Xi←Xk→Xj),其中Xk为尾对尾节点;第三类是收敛连接(Xi→Xk←Xj),其中Xk为头对头节点。
根据条件独立的知识可以证明:在顺序连接和发散连接中,在节点Xk状态未知的条件下,Xi和Xj之间是存在相关性的;而在节点Xk的状态已知的情况下,则Xi和Xj关于Xk条件独立(即Xi和Xj被Xk有向分离)。例如,在图3.2中,当下雨(C)未知时,冬天(A)和湿滑路面(E)之间是存在相关性的;而当下雨是已知时,则路面的湿滑与是否为冬天无关。
在收敛连接中,在节点Xk已知的条件下,节点Xi和Xj是相关的。这也可以被理解为,在因果关系中结果已知的情况下,多个原因之间是存在相关性的。而若Xk未知,则Xi和Xj关于Xk条件独立。例如,在图3.2中,当湿草地(D)未知时,喷水器(B)和下雨(C)之间是毫不相关的。
图3.3 三种特殊的节点连接方式
a)顺序连接b)发散连接c)收敛连接
定义3.4(有向分离) 对于贝叶斯网络ℕ=(G,Θ),Xi和Xj是G中任意不相邻的两个节点,Z表示连接Xi和Xj路径上的节点集,并且Z不包含Xi和Xj,l是连接Xi和Xj的任意一条路径。如果Z至少满足下面的三个条件之一,则称l是关于Z的一条阻断路径,称Xi和Xj被Z有向分离despG(Xi,Z,Xj),又记作Xi╨Xj|Z。
(i)Z包含l中不同于Xi和Xj的某一头对尾节点;
(ii)Z包含l中不同于Xi和Xj的某一尾对尾节点;
(iii)Z不包含l中不同于Xi和Xj的某一头对头节点及其子孙节点。
同样,可以拓展到节点集之间的有向分离。假设A、B和Z是在G中的三个互不相交的节点集,对于任意的节点Ai∈A和任意的Bi∈B,若Ai和Bi被Z有向分离,则称A和B被Z有向分离despG(A,Z,B),记作A╨B|Z。
然而,有向分离需要考虑节点与节点之间所有的路径,而路径的数目是随着节点数目的增多呈现指数级别增长的。可以通过下面的定理来简化对有向分离的分析。
定理3.1 判断G中的节点集X和Y是否被Z有向分离,等价于判断X和Y是否在新的有向无环图G′中无连接路径,而G′是根据下面的规则通过修剪G而得到的
(i)从G中删除所有不属于X∪Y∪Z的叶节点,重复这一步直到无满足条件的叶节点存在为止;
(ii)删除从Z中节点输出的所有边。
通过定理3.1,可以将有向图简化成非连接图,这样就可以在线性时间内判断是否满足有向分离,从而降低分析的复杂度。前面提到有向分离对应于条件独立,而在贝叶斯网络中,当结构图中的X和Y被Z有向分离时,根据有向分离定义可以推出X和Y关于Z必然是条件独立的。然而,当X和Y关于Z条件独立时,X和Y是否能被Z有向分离呢?答案是未必。例如,假设贝叶斯网络中存在三个节点Xi→Xk→Xj,假设均为二态节点,根据有向图定义可知当Xk已知时,Xi和Xj并非条件独立。然而,假设节点Xk的条件概率为θXk|Xi=,根据贝叶斯条件概率公式可知:
这样虽然Xk和Xi之间存在边连接但它们还是满足条件独立性。同样,可以推出Xi和Xj条件独立,这也与有向分离相矛盾。实际上,对于贝叶斯网络N=(G,Θ)及联合概率P(V),若X和Y被Z有向分离,则对于任意的网络参数Θ,X和Y关于Z条件独立;若X和Y不被Z有向分离,则X和Y是否关于Z条件独立取决于网络参数Θ的选择。