大家好，今天来为大家分享机器学习：高斯混合模型深入解析（第13篇）的一些知识点，和的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！
高斯混合模型以二维数据为例。下图中，可以看到有两个数据密集区域，对应的概率分布会有两个峰值。高斯混合模型可以看作是生成模型。数据生成过程可以认为是先选择一个高斯分布，然后根据选择的高斯分布生成数据：
高斯混合模型基于上面两个例子，我们可以从两个角度来描述高斯混合模型：
几何角度：加权平均可以认为是高斯混合模型，是由多个高斯分布加权平均组成的模型：
从混合模型（或生成模型）的角度来看，高斯混合模型可以被认为是包含潜在变量的生成模型：
:观察变量
: 隐藏变量
是隐藏变量，表示对应的样本属于哪个高斯分布。其概率分为下表：
33 3603可以认为这里的概率是几何角度加权平均中的权重，两个角度的解释其实意思是一样的。
我们可以绘制高斯混合模型的概率图：
概率图中的实心点代表模型的参数，右下角的代表样本数量。
二、尝试用极大似然估计来求解
:观测数据
:资料齐全
:参数
以上就是我们的数据以及需要求解的参数。接下来我们表示概率:
然后我们使用最大似然估计方法来解决这个参数估计问题。首先告诉大家一个结论：最大似然估计方法不能解决包含隐变量的参数估计问题，或者说不能得到解析解。接下来我们看看为什么不能用最大似然估计法来求解：
最大似然估计法无法得到解析解的原因是求和符号出现在函数内部。当然，我们可以使用梯度下降法来求解，但是对于包含隐变量的模型，EM算法更合适。
三、使用EM算法求解
由于使用EM算法需要使用联合概率和后验概率，所以我们首先写出这两个概率的表达式：
E步
对于上式的每一项展开式，我们可以简化：
类似地我们可以得到：
继续
rmula=Q(%5Ctheta%20%2C%5Ctheta%20%5E%7Bt%7D)" alt="Q(theta ,theta ^{t})" />进行化简可以得到：M stepEM算法的迭代公式为：下面以求解为例，来看如何进行迭代求解，以下是求解的迭代公式：于是可以转化为以下约束优化问题：然后使用拉格朗日乘子法进行求解：文章分享结束，机器学习：高斯混合模型深入解析（第13篇）和的答案你都知道了吗？欢迎再次光临本站哦！
【机器学习：高斯混合模型深入解析（第13篇）】相关文章：
2.米颠拜石
3.王羲之临池学书
8.郑板桥轶事十则
用户评论
终于到高斯混合模型了！一直在期待着这个部分的讲解~~
有5位网友表示赞同！
我之前对高斯混合模型了解不多，不知道这篇推导能解释清楚吗？
有12位网友表示赞同！
机器学习推导系列都写的真的很详细啊，每次都能学到新知识。
有15位网友表示赞同！
高斯混合模型在很多领域都有应用，期待看看到底原理是什么！
有12位网友表示赞同！
上次讲到了EM算法，这篇文章应该会说到运用吧？
有8位网友表示赞同！
感觉机器学习推导系列越来越深入了，我跟着学也越来越充实
有5位网友表示赞同！
要好好学习一下高斯混合模型，说不定以后有用！
有9位网友表示赞同！
我一直对数据聚类感兴趣，高斯混合模型应该就是其中一种方法吧？
有8位网友表示赞同！
文章标题挺明白的，直接点明了算法和内容，喜欢这种简洁明了的风格。
有16位网友表示赞同！
希望能详细讲解怎么训练高斯混合模型的参数啊！
有20位网友表示赞同！
机器学习推导系列的阅读体验真的很不错！
有7位网友表示赞同！
看看这篇能解决我之前对高斯混合模型的困惑吗？
有17位网友表示赞同！
学习到这步了，感觉机器学习越来越有意思了！
有9位网友表示赞同！
准备好好跟进这个系列文章，争取学到更多知识点！
有19位网友表示赞同！
好期待看到这篇文章能深入浅出地解释高斯混合模型原理！
有6位网友表示赞同！
高斯混合模型在语音识别领域应用很广吧？
有8位网友表示赞同！
学习机器学习的路上，高斯混合模型是必不可少的课程内容啊！
有14位网友表示赞同！
这篇推导讲的不难懂，还有一些示例代码，对初学者比较友好。
有7位网友表示赞同！
期待看到更多这样的文章能帮助我们更好地理解机器学习算法！
有8位网友表示赞同！