首发于因果推断

概率图模型(一)：概率图模型表示

每日一句

I never considered a difference of opinion in politics, in religion, in philosophy, as cause for withdrawing from a friend. — Thomas Jefferson

本文大纲如下：

本系列将介绍概率图模型，图的基础知识在[[图论(一)：图和子图]]进行简单介绍。本文初始是为了引入因果图模型，在几经思考之后，表示、推断、学习、决策是统计、机器学习重要的组成部分，为了更好的引入后续知识、并构建自己的知识体系。决定从概率图开始介绍。

为什么需要概率图模型

表示: 多变量的联合概率分布是什么？

p(x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8) \\

八个变量一共有2^8个状态。我们是否需要表示所有的状态？如果有更多的变量怎么般？图模型的主要好处之一是在表示联合分布时可以节省成本。用图形和条件来模拟变量之间的依赖关系可以大大减少描述联合分布所需的参数数量。

当我们引入专业知识后，八个变量之间的关系可以用上图表示。这时候联合分布可以由条件独立性计算：

\begin{aligned} &p(x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8)\\ &=p(X_1)p(X_2)p(X_3|X_1)p(X_4|X_2)p(X_5|X_2)P(X_6|X_3,X_4)P(X_7|X_6)P(X_8|X_5,X_6) \end{aligned}\\

结合专业知识和结构之后，联合分布表示的成本由2^8 降为2 + 2 + 4 + 4 + 4 + 8 + 4 + 8 = 36，缩减了256 / 36 \approx 7倍。

非正式地讲，图模型只是一个代表随机变量之间关系的图形。节点是随机变量（特征），边（或没有边）代表随机变量之间的关系或随机变量之间的依赖关系。关系的概念根据图的不同而不同。

无向图模型（undirected graphical models）

节点对应于随机变量，而边对应于成对（非因果）关系。无向图模型是P(X, \theta_G)，即随机变量X的概率分布，其参数由图G决定。 UGM例子：物理学模型、社会网络、蛋白质交互网络、建模围棋、.... 在信息检索等领域，这种模型可以用来描述概念之间的关系和实体之间的关系。

表示

无向图模型表示一个由无向图H定义的分布P(X_1, X_2, ......, X_n)，以及一组与H的边相关的势函数(potential functions)\Phi_c:

$P(X_1, X_2, ......, X_n) = \frac{1}{Z}\prod_{c \in C}\Phi_c(X_c) \\

其中Z被称为配分函数(partition function), 也被称为吉布斯分布。

Z = \sum_{x_1, x_2, \ldots, x_n}\prod_{c \in C} \Phi_c(X_c) \\

给定一个图，确定图模型中存在的所有 "Cliques"。这也被称为马尔科夫随机场、马尔科夫网络，...

将Clique位势限制为正值可能是不方便的。用一个实值 "能量 "函数φc(Xc)以无约束的形式表示位势\phi_c(X_c)：\phi_c(xc) = exp(-\pi_c(xc))。联合概率有一个很好的加性结构:

p(x) = \frac{1}{Z}exp\{-\sum_{c\in C } \phi_c(x_c)\}:=\frac{1}{Z}exp\{-H(x)\} \\

H(X)是自由能，在物理上称之为玻尔兹曼分布，统计上成为对数线性模型：

P(X_1, X_2, X-3, X_4) = \frac{1}{Z}exp\{\sum_{ij}\phi_{ij}(X_i, X_j)\} = \frac{1}{Z}exp\{ \sum_{ij}\theta_{ij}x_ix_j + \sum_i \alpha_ix_i +C \} \\

整体能量函数可以表示为：H(X)=\sum_{ij}(x_i - \mu)\theta_{ij}(x_j - \mu) = (x-\mu)^T\Theta(x-\mu). 我们将利用这点从数据中恢复图的结构。特别是当\Theta是稀疏的时候\Theta_{ij} = 0，那么x_i和x_j之间就没有边。

团

对于G = {V,E}，一个完全子图（Clique）是一个子图G' = \{V' \subseteq V, E' \subseteq E\}，这样V'中的节点是完全相连的。一个极大团是一个完整的子图，使得任何超集都不是一个团。

上图中，最大团是{A,B,D}，{B,C,D}，而子团是{A,B}，{C,D}，...所有的边和单节点。使用团的原因: 团是基本单位，它捕捉了所有可能的依赖关系，而且不会被遗漏。如果我们从团内的子图开始构建，将它们相互连接，我们可能会有失去对一些相互依赖关系建模的风险。

团势能的解释

团势能是前概率性的权变函数，它提供了恢复或指定随机变量配置的偏差的方法。在有向图形模型中，顶点的联合分布可以被分解为边际和条件分布的乘积。然而，在无向图形模型中，联合分布可以被分解为团势能的乘积。这些团势能不一定是边际分布。它们只代表变量的 "良好性 "或 "兼容性 "的概念。为了说明为了说明这一点，请考虑图中所示的图形。该图表示X\perp Z|Y，联合分布可以表示为p(x, y, z) = p(y)p(x|y)p(z|y)，但它也可以用其他形式写成图中所示。

I-maps(Independence-map)

如何使用图来表示一个概率分布？定义I-maps是为了利用条件独立性定义图H和分布P之间的关系。表示为一个图将使描述P的所有条件独立性变得更加容易。将I(P)定义为所有在P中成立的X \perp Z|Y形式的独立性断言的集合（与参数值无关）。图H和其独立性断言集合I(H)，如果I(H)\subseteq I(P), I(H)是I(P)一个I-maps.可以发现只要是 I(P) 的子集，其对应的 G 就是概率分布 P 的 I-map，所以 I-map 可以有很多。只有 I(G) = I(P) 时，对应的 Graph 才可以等价地表示这个概率分布，也叫做 P 的 P-map (Perfect-map)。

全局马尔可夫性

什么样的分布可以由无向图来表示变量之间的独立性关系? 无定向图H的全局马尔可夫属性是:

I(H) = \{(X \perp Z|Y ) : sep(X;Z|Y )\} \\

也就是说，在给定集合Z的情况下，这两个集合被集合Z分开, 随机变量集合X和Y是独立的。

一个概率分布P满足无向图H的全局马尔科夫属性，如果对于任何不相交的X、Y和Z，使Y将X和Z分开，在给定Y的情况下，X是独立于Z的：

I(H) = \{(X \perp Z|Y ) : sep(X;Z|Y )\} \\

I(H)是I(P)一个I-map.

局部马尔科夫性

无向图中一个节点X_i的相邻节点的集合被称为马尔科夫毯(表示为MB_{X_i})。

其中B是H中所有节点的集合。这意味着给定X_i（图中的蓝色节点）的马尔科夫毯MB_{X_i}(图中的红色节点), X_i是独立于H中的所有其他节点（图中的白色节点).

小结

可靠性（从图到分布）：P为一个分布，H是一个马尔可夫结构，如果P是H上的吉布斯分布，那么保H是P的I-map。

完备性：H为一个马尔可夫网结构，如果在给定Z时，X与Y在图H上不可分，则在给定Z时，X与Y在某些H上因子分解的分布中存在依赖关系。需要注意：

图和分布之间没有严格的等价关系!

有向图模型（ Directed Graphical Models）

在有向图形模型中，代表随机变量的节点由有向边连接，表示节点之间的因果关系。这种类型的有向GM被称为贝叶斯网络或有向图模型。

因子分解

Bayesian Networks(贝叶斯网络，BN)是一个有向图模型，其节点代表随机变量，其边缘代表随机变量之间的定向影响。

给定一个有向无环图(DAG)，概率分布形式是符合的图的特点，根据 "节点给定其父节点"连乘。

P(X) = \prod_{i=1}^dp(X_i|X_{\pi_i}) \\

其中X_{\pi_i}是X_i的父节点，d为图中节点数量。

结构与独立性

Common parents/Fork

给定父节点B，解耦A和C：A \perp C | B

P(A,C|B)=P(A|B)P(C|B) \\

Cascade/Chain

给定节点B，解耦A和C：A \perp C | B

P(A,C,B)=P(A)P(B|A)P(C|B) \\

V -structure/colider

给定节点C，耦合A和B：A \perp C

P(A,B, C)=P(A)P(B)P(C|A,B) \\

I-Maps

同样使用I-maps来建立图和分布之间的关系。一个分布P满足与图G相关的局部独立性，当且仅当P可表示为与图G相关的一组条件概率分布（Conditional Probability DistributionsCPD）。

设P是X上的一个分布。我们定义*I(P)*为在P中成立的(X\perp Y|Z)形式的独立性断言的集合。

K是任意一个与一组独立性集合I(K)相关的图。如果I(K)\subseteq I，则K是一个I-map 。

要使G成为P的I-map，就必须使G中任何独立性在P中也必须成立。

局部马尔科夫假设

贝叶斯网络结构G是一个有向无环图（DAG），其节点代表随机变量X_1，X_2，...，X_N。让Pa_{X_i}表示G中X_i的父母，NonDescendants_{X_i}表示图中是X_i的非后裔的变量。那么G编码了以下一组局部条件独立性假设:

I(\mathcal{G}) : \{X_i \perp NonDescendants_{X_i}|Pa_{X_i}: \forall i\} \\

每个节点X_i在给定其父节点的情况下都独立于其非后裔变量。

如果变量x和y在道德化(moralized)祖先图中是分离的，那么在给定z的情况下，它们是D分离(D-separated)的（条件独立）。

通过删除感兴趣的随机变量及其祖先以外的所有节点来构建祖先图。然后对祖先图进行道德化处理，去除边上的所有方向，并将原本不相连且有一个共同子节点的节点连接起来。如果有一种方法可以从一个节点到另一个节点，那么这两个节点就不是条件独立的。

全局马尔科夫假设

如果不能将 "贝叶斯球（Bayes-ball） "从X中的任何节点发送到Z中的任何节点，那么在给定Y的情况下，X与Z之间是DD-separated。

chain/cascade

Y 没有观测\Leftrightarrow ,路径是Acitvate的

V- structure/colider

Y 没有观测\Leftrightarrow ,路径是Acitvate的

Fork/common parents

Y 或者Y的后代被观测\Leftrightarrow ,路径是Acitvate的

Conditional probability density (CPDs)

为了建立下面这个带有连续随机变量的图形的联合分布，我们可以使用条件概率密度函数。下面是一个定义连续随机变量依赖的例子:

对于离散变量，我们看下图的例子：

from pgmpy.models import BayesianModel
from pgmpy.factors.discrete import TabularCPD

# 定义模型结构
model = BayesianModel([('D', 'G'), ('I', 'G'), ('G', 'L'), ('I', 'S')])

# 定义 CPDs.
cpd_d = TabularCPD(variable='D', variable_card=2, values=[[0.6], [0.4]])
cpd_i = TabularCPD(variable='I', variable_card=2, values=[[0.7], [0.3]])
cpd_g = TabularCPD(variable='G', variable_card=3,
                   values=[[0.3, 0.05, 0.9,  0.5],
                           [0.4, 0.25, 0.08, 0.3],
                           [0.3, 0.7,  0.02, 0.2]],
                  evidence=['I', 'D'],
                  evidence_card=[2, 2])

cpd_l = TabularCPD(variable='L', variable_card=2,
                   values=[[0.1, 0.4, 0.99],
                           [0.9, 0.6, 0.01]],
                   evidence=['G'],
                   evidence_card=[3])

cpd_s = TabularCPD(variable='S', variable_card=2,
                   values=[[0.95, 0.2],
                           [0.05, 0.8]],
                   evidence=['I'],
                   evidence_card=[2])

model.add_cpds(cpd_d, cpd_i, cpd_g, cpd_l, cpd_s)

# 检查模型以及CPD。看CPDs是否求和为1
print(model.check_model())
print(model.get_cpds('G'))