指数族分布：机器学习理论教程（第九部分）

时间：11-16 神话故事提交错误

大家好，关于指数族分布：机器学习理论教程（第九部分）很多朋友都还不太明白，今天小编就来为大家分享关于的知识，希望对各位有所帮助！

在：

：参数向量；

：统计充分；

：日志分区函数（日志分布函数）

：不是很重要，通常是1。

分区功能

通常如果我们得到一个可以表达分布的函数，但它的积分不为1，我们需要将其除以归一化因子来对其进行归一化。这个归一化因子就是配分函数，010 -69507个点其值为：

解释一下为什么被称为日志分布函数：

因此，是分区函数，是日志分区函数。

指数族分布的特点、模型及应用

足够的统计是足够的统计。

什么是充分的统计量？例如，对于从高斯分布中抽取的一些样本，以下统计量是足够的统计量：

因为上面的统计量可以用来计算样本的均值和方差，得到其清晰的分布。

有了足够的统计数据，就可以丢弃样本，从而节省空间，这对在线学习具有重要意义。

共轭

上述贝叶斯公式中，由于分母难以积分或者的形式过于复杂，所以直接计算是非常困难的。因此，计算也是非常困难的，所以人们思考了很多。由于上述集成的困难，提出了近似推理（变分推理、MCMC等）等方法。

共轭的概念意味着，给定一个特殊的似然（），后验（）和先验（）将具有相同的分布，这也解决了上面的积分难题，避免了求分母上的积分项常数。

例如：

通过最大熵给出先验的一些方法包括：

共轭方便计算；

最大熵无先验信息；

杰里夫。

最大熵原理提供了一种定义先验的方法，可以使参数更加随机。

广义线性模型广义线性模型中出现的一些概念：

将概率图模型的无向图中的RBM（受限玻尔兹曼机）应用于指数族分布。

二、高斯分布的指数族分布形式

以一维高斯分布为例，将高斯分布组织成指数族分布的形式：

然后就可以得到和之间的关系：

7D%3D-%5Cfrac%7B1%7D%7B2%5Csigma%20%5E%7B2%7D%7D%20%5Cend%7Bmatrix%7D%5Cright.%5CRightarrow%20%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20%5Cmu%20%3D-%5Cfrac%7B%5Ceta%20_%7B1%7D%7D%7B2%5Ceta%20_%7B2%7D%7D%5C%5C%20%5Csigma%20%5E%7B2%7D%3D-%5Cfrac%7B1%7D%7B2%5Ceta%20_%7B2%7D%7D%20%5Cend%7Bmatrix%7D%5Cright." alt="eta =begin{pmatrix} eta _{1}\ eta _{2} end{pmatrix}=begin{pmatrix} frac{mu }{sigma ^{2}}\ -frac{1}{2sigma ^{2}} end{pmatrix}\ left{begin{matrix} eta _{1}=frac{mu }{sigma ^{2}}\ eta _{2}=-frac{1}{2sigma ^{2}} end{matrix}right.Rightarrow left{begin{matrix} mu =-frac{eta _{1}}{2eta _{2}}\ sigma ^{2}=-frac{1}{2eta _{2}} end{matrix}right." />将代入可以得到如下结果：由此就将高斯分布整理成了指数族分布的形式：

三、对数配分函数与充分统计量

通过对指数族分布的通用形式进行整理，可以得出对数配分函数与充分统计量的特定关系：类似地，继续对求二阶导数:

四、极大似然估计与充分统计量

上述推导都是在无样本条件下进行的，在有样本的情况下我们也可以通过极大似然估计法来获得一些特定的关系，假设有如下数据：然后使用极大似然估计法求解：就可以通过求的反函数求出来。这说明是充分统计量，因为只需要记录这一个值就可以求出，进而通过求出所有的参数。

五、最大熵

概述首先定义信息量和熵：离散情况下的最大熵假设是离散的： x12kP通过求解以下约束优化问题可以求得使得离散情况下熵最大的分布：使用拉格朗日乘子法进行求解：离散情况下均匀分布会使得熵最大。也就是说在没有任何已知条件约束的情况下均匀分布的熵最大。最大熵原理上一部分得出在无任何已知的情况下的最大熵对应的分布为均匀分布，而在满足一定的约束（已知事实）的条件下就要使用最大熵原理来进行求解。首先要说明已知事实指的就是我们已经有了一部分数据：然后根据数据我们可以定义其经验分布：通过该分布可以获得数据的一些属性，比如。另外我们假设是任意关于的函数向量，满足：也就是说现在需要满足上述约束条件，于是在该约束下求解最大熵的分布就转换成了一个约束优化问题：然后就可以使用拉格朗日乘子法进行求解，首先定义拉格朗日函数：接着对进行求导，这里指的是对每个进行求导：