机器学习与自然语言处理(二)—概率图模型

一、概率基础： 加法法则：p(X)=∑i=1np(X,Yi)p(X)=\sum\limits_{i=1}^{n}p(X,Y_i)p(X)=i=1∑n​p(X,Yi​) 乘法法则：p(X,Y)=p(X∣Y)P(Y)p(X,Y)=p(X|Y)P(Y)p(X,Y)=p(X∣Y)P(Y) 全概率公式：p(X)=∑i=1np(X∣Yi)P(Yi)p(X)=\sum\limits_{i=1}^{n}p(X|Y_i)P(Y_i)p(X)=i=1∑n​p(X∣Yi​)P(Yi​) 链式法则：p(x1,x2,...,xn)=p(x1)∏i=2np(xi∣x1,x2,...,xi−1)p(x_1,x_2,...,x_n)=p(x_1)\prod\limits_{i=2}^{n}p(x_i|x_1,x_2,...,x_{i-1})p(x1​,x2​,...,xn​)=p(x1​)i=2∏n​p(xi​∣x1​,x2​,...,xi−1​) Bayesian公式：p(Y∣X)=p(Y)p(X∣Y)p(X)p(Y|X)=\frac{p(Y)p(X|Y)}{p(X)}p(Y∣X)=p(X)p(Y)p(X∣Y)​ 二、概率图与数据结构的图的关系：

数据结构的图是抽象的图，概率图则对图赋予一定的实际意义，即概率。使用图结构的好处有：

直观而紧凑的数据结构。 利用图形结构，提供了一套使用通用算法进行高效判断的方式。 能够用非常少的參数表示高维的概率分布。參数的选择能够用手工也能够从数据中学习。 三、概率图模型的关键点—表示、推断、学习、决策 表示 推断 学习 决策 四、有向图和无向图

有向图：又称为贝叶斯网络(Bayesian Network)，通过拓扑排序，把概率模型蕴含到图结构之中。代表性的模型有：
朴素贝叶斯(Naive Bayes)
高斯混合模型(GMM: Gussian Mixed Model)
高斯过程(GP: Gussian Process)

无向图：又称为马尔科夫网络(Markov Network)。代表性的模型有：
马尔科夫随机场

作者：xml.nudt

自然语言 概率图模型 学习 模型 自然语言处理 机器学习