概率图模型（Probabilistic Graphical Model）

概率图模型是一种利用图论知识来表示某一概率分布的模型。例如这里有一个概率分布

$P(x_1, x_2, x_3, \cdots, x_p)$

如果事先不知道分布中的各个变量之间的相互依赖关系，那么想要求出这个分布的表达式就很困难了。不过还好，之前了解过关于朴素贝叶斯的相关知识，朴素贝叶斯模型假设各个变量独立，这可以将这个分布解掉：

$P(x_1, x_2, x_3, \cdots, x_p)=\prod_{i=1}^pP(x_i)$

我们只要根据样本来求出各个 $\hat P(x_i)$ 再连乘就好了。

但各个变量之间相互独立这个假设实在是太强了，这可能让我们求得的分布和真实的分布差很多。如果我们想求一幅图片的分布什么的，朴素贝叶斯肯定是行不通的。而概率图模型是利用图论知识来建立概率分布各个变量间的联系，以此来逼近一个复杂的概率分布。关于图嘛，有有向图有无向图。而有向图和无向图的概率图模型分别对应着 贝叶斯网络(Bayesian Network) 与 马尔可夫网络(Markov Network)。

当然了，概率图网络只是用来描述一个概率分布变量之间的联系，如果将一个概率分布用概率图模型来表示，那么这个模型就有着 条件独立性 的新性质。条件独立性在不同的网络中有着不同的形态，具体就要等接下来的几篇文章来介绍啦。

在介绍概率图模型之前，先来复习几个关于高维概率分布的知识。

当我们已知一个分布 $P(x_1, x_2,\cdots, x_p)$ 时，我们可以求得它的边缘概率 $P(x_i)$ 与条件概率 $P(x_j|x_i)$：

$\begin{align} &P(x_i) = \int_{x_k\neq x_i}P(x_k, x_i)dx_k\\ &P(x_j|x_i)=\frac{P(x_i, x_j)}{p(x_i)} \end{align}$

而关于概率分布，我们可以利用链式法则来对其进行分解：

$\begin{align} P(x_1, x_2, x_3, \cdots, x_p) &= P(x_1)P(x_2|x_1)P(x_3|x_1, x_2)\cdots P(x_P|x_1,\cdots, x_{p-1})\\ &=\prod_{i=1}^pP(x_i|x_1, x_2, \cdots, x_{p-1}) \end{align}$

接下来关于贝叶斯网络和马尔可夫网络的知识在接下来几篇奥！