尚拙谨言

EM(Expectation Maximization Algorithm)算法详解(附代码)-----大道至简之机器学习系列---通俗理解EM算法。

☕️ 本文来自专栏：大道至简之机器学习系列专栏

本专栏往期文章：逻辑回归(Logistic Regression)详解(附代码)---大道至简之机器学习算法系列——非常通俗易懂！_尚拙谨言的博客-CSDN博客_逻辑回归代码

❤️各位小伙伴们关注我的大道至简之机器学习系列专栏，一起学习各大机器学习算法

❤️还有更多精彩文章（NLP、热词挖掘、经验分享、技术实战等），持续更新中……欢迎关注我，主页：https://blog.csdn.net/qq_36583400，记得点赞+收藏哦！

个人GitHub地址：fujingnan (fujingnan) · GitHub

总结

一、基础的基础

1. 数学期望（以下简称“期望”）

2. 最大似然估计

3. Jensen不等式

二、EM算法推导

1. 从特殊到一般

2. EM算法的推导

3. EM算法总结

三、EM算法在高斯混合模型中的应用（重要）

四、Python代码实现

五、总结

看到上面的表情了吗？没错，我的心情……为啥呢？因为我今天要讲一讲这个曾经耗费我将近两个月的时间去理解的EM（Emoji Melancholy）算法。先说在前面，该算法确实有点晦涩难懂，小伙伴们如果一时半会儿理解不了没关系，千万不要EM起来，我看网上太多大佬对解释这个算法都显得似乎轻而易举，很是佩服，小弟并不知道他们是如何做到理解的如此轻松的，大佬的世界咱不懂哎~

我尝试着并非抛几个公式，照着书上解释一通来写这篇博客，尽量用自己的理解来写，如果存在有误之处，还请大佬们提出指正，不胜感激！

通俗讲，EM算法它是实现是一种基础数学方法，它叫期望最大化算法，目的是能够求解带有隐含变量的最大似然值的问题。就好比我们要解决连续凸函数的最大值问题，那么我们就要学会微积分。因此，与其说EM算法是一种机器学习算法，不如说它是一种能够应用在一些机器学习算法求解问题上的一种基础数学工具。对于EM算法，本章想重点介绍一下它在高斯混合模型学习中的应用。但在这之前，我想先和大家过一遍EM算法的基础。

总结

文档撰写习惯，先抛出总结：

EM算法的具体步骤：

（1）给参数θ即第0步赋初值 $\theta^{(0)}$ ；

（2）E步：如果是第一轮迭代，那么令θ= $\theta^{(0)}$ 来计算Q函数；如果是>1轮迭代，则θ的值由上一次M步计算出的θ值决定。由于E步时θ已知，所以只需要计算Q，公式如下：

$Q^{(t)}(z^{(i)})=p(z^{(i)}|x^{(i)};\theta^{(t)})$

也就是给定θ和已知的观测数据x的条件下，求一下隐变量z的条件概率。

（3）M步： 根据E步计算出来的Q，按如下公式计算θ：

$\theta^{(t+1)}=J(\theta^{(t+1)})=\underset{\theta }{argmax}\sum_{i}\sum_{z^{(i)}}Q_{i}^{(t)}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\theta^{(t)})}{Q_{i}^{(t)}(z^{(i)})}$

也就是固定Q（z也固定）和已知的观测数据x，算一下θ。

（4）重复（3）和（4）直至收敛。

高斯混合模型的EM算法步骤：

假设随机变量X是由K个高斯分布混合而成，各个高斯分布的概率为 $\phi_{1}, \phi_{2}, ..., \phi_{K}$ ，第i个高斯分布的均值为 $\mu_{i}$ ，方差为 $\sigma_{i}$ 。我们观测到随机变量X的一系列样本值为 $x_{1}, x_{2}, ..., x_{n}$ ，计算如下：

第一步：给φ，μ，σ赋初值，开启迭代，高斯混合模型的φ，μ，σ有多个，就分别赋初值；

第二步：E步。如果是首轮迭代，那么φ，μ，σ分别为我们给定的初值；否则φ，μ，σ取决于上一轮迭代的值。有了φ，μ，σ的值，我们按照如下公式计算Q函数：

$\begin{aligned} Q_{i}(z^{(i)}=k)=\frac{\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]}{\sum_{k=1}^{K}\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]} \end{aligned}$

其中，φ，σ，μ，x均已知，代入即可，i=1,2,...,N；k=1,2,...,K

第三步：M步。根据计算出来的Q，套进以下公式算出高斯混合模型的各个参数：

$\begin{aligned} \mu_{k}&=\frac{\sum_{i=1}^{N} Q_{k}^{(i)}x^{(i)}}{N_{k}}\\ \sigma_{k}&=\frac{\sum_{i=1}^{N}Q_{k}^{(i)}(x^{(i)}-\mu_{(k)})(x^{(i)}-\mu_{k})^T}{N_{k}}\\ \phi_{k}&=\frac{\sum_{i=1}^{N}Q_{k}^{(i)}}{N}\\ N_{k}&=\sum_{i=1}^{N}Q_{k}^{(i)} \end{}$

重复2~3步，直至收敛。

好了，正文开始……

一、基础的基础

既然说EM算法是基础，那么它必然也有基础，这一节先介绍几个学习EM算法需要知道的基础。我们先从算法的名字入手：期望最大值算法。

1. 数学期望（以下简称“期望”）

百度百科上说：“数学期望(mathematic expectation)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。”

瞅瞅上面这句话，什么试验？其实就是我们日常生活中发生的一些同类事件，比如买彩票事件、抛硬币事件等；所以百科上这句鸟话啥意思？事情还得从盘古开天辟地时的一场赌局说起，事情是这样的：

甲乙两个人赌博，他们两人获胜的机率相等，比赛规则是先胜三局者为赢家，一共进行五局，赢家可以获得100法郎的奖励。当比赛进行到第四局的时候，甲胜了两局，乙胜了一局，这时由于某些原因中止了比赛，那么如何分配这100法郎才比较公平？

我们简单算一下：因为甲输掉后两局的可能性只有(1/2)×(1/2）=1/4，也就是说甲赢得后两局或后两局中任意赢一局的概率为1－(1/4)=3/4，甲有75%的期望获得100法郎；而乙期望赢得100法郎就得在后两局均击败甲，乙连续赢得后两局的概率为(1/2)*(1/2)=1/4，即乙有25%的期望获得100法郎奖金。

可见，虽然不能再进行比赛，但依据上述可能性推断，甲乙双方最终胜利的客观期望分别为75%和25%，因此甲应分得奖金的100*75%=75(法郎)，乙应分得奖金的的100×25%=25(法郎)。这个故事里出现了“期望”这个词，数学期望由此而来。

从上面的例子可以十分通俗的这么理解：数学期望就是一个事件可能获得的所有结果被其获得相应结果的可能性（概率）“降价（加权）”后，求得的和，作为该事件的整体期望结果，也就是用一个数来表示一件事获得可能结果是啥。

这里需要注意的是，每件事获得的结果都必须赋予实际的意义，且需要数字化表示，否则期望是无法计算的。又因为每个人赋予的实际意义和数字化表示都不相同，所以如果没有规定统一，则每个人计算出来的期望都有可能不同，例如上述的100法郎的奖励，你也可以规定是200法郎，那么计算的结果就会不一样，但这并不影响数学期望所表示的数学意义。

假设一个随机事件X ，对于离散型数值的数学期望为：

$E(X)=\sum_{i=1}^{n}=x_{i}\cdot p_{i}$

，p为概率值。

对于连续型数值的数学期望为：

$E(X)=\int_{-\infty }^{\infty }x\cdot f(x)dx$

，f(x)为概率密度函数。

关于数学期望还有呢太多细节，不是本文介绍重点，大家可自行查阅。这里只做一个宏观解释。

2. 最大似然估计

“期望最大值”的第二部分就是那个“最大”，“最大”蕴含着“最大似然估计”方法，只不过在EM算法里，最大似然估计是含有隐变量的最大似然估计，这个在后面说，这里先说说什么是最大似然估计。

通常的，当我们对某个事件做多次的一系列试验后，在大数定律下（对某事件做了无数多次试验发生的规律），我们统计出现各种试验结果的概率，那么会发现，这一事件的试验会大概率稳定在某种形式的结果。比如抛硬币，抛了无数多次后统计，会发现正面向上的概率和反面向上的概率基本都是0.5。而我们通常的试验，都会有一定的未知参数，那么最大似然参数估计就是要估计出能使这种出现最大概率结果的参数值，比如抛硬币的力度，试验者的年龄等。已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。那么这个需要估计的未知参数该如何理解呢？

举个例子：

已知一批往年下雨的数据样本，是杏下雨是由某些气象指标控制，如参数θ表示空气的湿度，L(x; θ) 就表示在湿度参数θ下下雨的可能性，参数θ可以取值 $\theta_{1},\theta_{2}...\theta_{n}$ ，每个参数 $\theta_{i}$ 会得到对应的似然函数值, 如果某个 $\theta_{i}$ 似然函数值大，代表该样本在这个参数下发生的可能性更大些，所以把称为“似然函数”，用来表示参数 $\theta_{i}$ 取值和样本数据的关联程度。而求解似然函数的过程，是已知某个参数θ使得似然函数值最大，反求θ。

最大似然估计分为离散型随机变量和连续型随机变量两种。离散型随机变量是一系列独立同分布的随机事件在某个或某些未知参数θ的参与下，其得到最大概率值下，对参数θ的估计；连续型随机变量是指一系列具有连续特征的随机变量在某个或某些未知参数θ的参与下，其得到最大概率密度值下，对参数θ的估计。

通常，由于计算最大概率值时，需要用到概率连乘，这将在计算上带来很大的麻烦，因此，我们在求解最大似然值时，往往采用对数方法进行，即对连乘式取ln或者log，将连乘转换成连加形式，再求其偏导。举个例子：

我们要判断一句话出现的概率（即给定一些字词，判断这些字词能够组合成一句通顺的话的概率）：例如“i am a chinese”，我们先对这句话分词[i，am，a，chinese]，现在要判断“i am a chinese”这句话出现的概率，那么就得做如下计算：

$\prod P(\mbox{i am a chinese})=P(i)\cdot P(am|i)\cdot P(a|\mbox{i am})\cdot P(\mbox{chinese}|\mbox{i am a})$

我们知道，上式每个P都是一个0-1之间的数，连乘后将会趋近于0，但是如果我们取对数，那么上式的连乘将会变成连加的形式，不管是计算上还是结果，都更加亲民。

总结求解极大似然估计问题步骤：

写出似然函数；

对似然函数取对数，并整理；

求导数，令导数为0，得到似然方程；

解似然方程，得到的参数即为所求；

3. Jensen不等式

Jensen不等式是推导EM算法用到的一个强有力的工具，它很重要，但是我不打算深入讲解它（主要是这么短的篇幅我也说不明白，hhh…），因为它是纯数学问题，和我们的算法其实是“被应用”的关系，所以我们只需要记住相应结论就好。如果数学相关的小伙伴实在想弄懂它，可能需要查阅厚书。

Jensen不等式是这么说的：

如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])，通俗的说法是函数的期望大于等于期望的函数。

特别地，如果f是严格凸函数，当且仅当P(X = EX) = 1，即X是常量时，上式取等号，即E[f(X)] = f(EX)

如图：

图中，实线f是凸函数（因为函数上方的区域是一个凸集），X是随机变量，有0.5的概率是a，有0.5的概率是b（就像抛硬币一样）。X的期望值就是a和b的中值了，可以很明显从看出， E[f(X)]>=f(E[X])。

当f是（严格）凹函数当且仅当-f是（严格）凸函数，不等号方向反向，也就是E[f(X)]<=f(E[X])

二、EM算法推导

1. 从特殊到一般

我们先举个简单情况的例子：已知某幼儿园有一群小朋友，男生和女生的身高都服从正态分布，男生正态分布参数为 $N(\mu_1,\sigma_1^2)$ ，女生正态分布参数为 $N(\mu_2,\sigma_2^2)$ ，我们随机从这些小朋友中抽取100位男生和100位女生进行身高测量。请求出男女生的正态分布式。

要解出男女生身高正态分布式，就是要求出 $\mu _{1}$ ， $\mu _{2}$ ， $\sigma _{1}$ ， $\sigma _{2}$ ，我们既已知男女生身高的分布，又已知这200名小朋友的身高，所以，根据极大似然值的求解方法，我们很容易能够求出它们的正态分布式。只需要将每位小朋友的身高带入对应的正态分布公式中，取对数，分别对 $\mu _{1}$ ， $\mu _{2}$ ， $\sigma _{1}$ ， $\sigma _{2}$ 求偏导，令偏导为0，即可求出4个参数，最后再把4个参数带回到正态分布公式中，就可以得出它们的正态分布式。这个正态分布式有啥用呢？当我们得到了男女生两个正态分布式后，我们再随机从幼儿园中盲抽一位小朋友，假设我们不知道ta的性别，我们可以通过测量其身高，并把身高值分别带进2个公式，算出谁的值大，那么这位小朋友大概率就是对应正态分布式的性别了。这就是最大似然估计。

现在将上面的情况反过来一下，我们打一开始就不知道这200位小朋友的性别，可是我又想求解它们的正态分布的参数值，而且也想再抽一位同学的身高，通过其正态分布式估计其性别，咋整？没招。没招我不管，这个需求很简单，能不能做我不管。好吧，那我告诉你能做！怎么做？woc，这就是EM算法的用武之地！

我们捋一捋，现在是有一个2个已知和3个未知：

已知：小朋友们的身高服从正态分布；200名小朋友的测量身高

未知： $\mu _{1}$ ， $\mu _{2}$ ， $\sigma _{1}$ ， $\sigma _{2}$ 以及性别z

我们将200名的测量身高称为观测值，性别z称为隐变量。 $\mu _{1}$ ， $\mu _{2}$ ， $\sigma _{1}$ ， $\sigma _{2}$ 称为需要估计的未知参数。好了，接下来该怎么做呢？我们可以先给各个未知参数赋初值，再根据《统计学习方法第二版》P165 的算法9.2来计算（算法怎么来的，下面会介绍），注意书里用的是高斯分布，咱们这儿只需要把P162式9.25中的φ替换成正态分布式即可。本质上，EM也是用到迭代法的思想。再通俗一点举例，假如给你两个没有刻度的试管，要从试剂瓶中给这两个试管平均分配药剂，正常人的做法就是先大概给每个试管倒入试剂，然后你会水平对比每个试管的液面差，多的再匀一匀给少的，来回倒腾，直到最后两根试管的试剂液面基本处于同一水平面。

2. EM算法的推导

我们一步一步来，从第一章第二节的例子中我们可以知道，从分布为p(x|θ)的总体样本中抽取到N个样本的概率，也就是样本集X中各个样本的联合概率，例如 [am, i, chinese, a] 这几个单词要组合成“i am a chinese”的概率，我们就需要用如下公式：

$L(\theta )=L(x_{1},x_{2},...,x_{N};\theta )=\prod_{i=1}^{N}P(x_{i};\theta )$

我们取个对数：

好家伙，出现了隐变量z，而且一个求和变成了两个求和，咋来的？注意看第二个求和符号的下标为z，也就是第二个求和符号是对z的边缘概率求和，得到的结果和没有z的一个求和符号的形式是一样的。你可以想象z是从一个整体分出来的一部分东西，我们再把分出来的东西求个和，就又变回一个整体。

上式是似然函数，我们的目的就是求得各个未知参数使该似然函数值达到最大。理论上，我们只需要针对上式的各个参数求偏导，再令偏导为0即可。可是上式中不仅存在隐变量，还存在对数的和的形式，这样求导起来就麻烦了。天才数学家，它们把上式做了个变换，变成如下形式（为了方便，下文统称下式为公式1）：

首先，天才们利用小学数学的技巧，分子分母同乘以一个数，原式保持不变，不一样的是，这里同乘的这个数不是瞎比乘的，它是关于隐变量z的概率分布函数，其条件是

$\sum_{z}Q_{i}(z^{i})=1$ ，得到（2）式后，接着就可以去掉烦人的和的对数了。注意看（3）式，有个大于等于号，好嘛，这其实就用到了我们上面讲到的Jensen不等式的思想了。至于说人家咋想到的，我个人感觉这是数学天才特有的敏感度，或者经过好多人不断的尝试实验发现的，总之这种巨大跳跃的思维常人难以想象。

抛开第一个求和符号，我们和Jensen不等式对比着用文字来解释一下：在满足Jensen不等式的条件下，函数的期望大于等于期望的函数，log的期望大于等于期望的log，解释的够俗了吧……

那么为啥式子里有期望存在呢？注意看（2）式中，倘若我们把

看成一个整体g(x)，而Q又是关于z的分布律，那么由数学期望的定义就有

回顾一下简单形式的数学期望：E(X)=∑x·p(x)，而g(x)又是X的函数，所以我们把简单形式的期望公式中的X替换成g(x)，就得到了E(g(x))的数学期望了。事实上，上式属于复合函数型的数学期望。有了（2）式后，根据Jensen不等式，就有：

一边看着上式，一边跟我读一遍：函数的期望大于等于期望的函数，log的期望大于等于期望的log。现在明白了吧。

现在让我们回到公式1，我们的初衷是求得（2）式的最大似然值，而我们最终把它变换成了（3）式，且等号变成大于等于号，就是说（2）的最大值并非一定是（3）的最大值了，咋办？我们把公式1简单写成L(θ)>=J(z, Q(z))，因此，不管J的值在z和Q的不同取值下如何变化，始终都会有L(θ)大于等于J，所以我们不用管这个不等号了，我们只需要让J不断增值就好，反正L这个帽子一直扣在J头上，J长高高，L肯定是跟着长呗，但始终是在J的头顶，而且肯定有个上限。所以我们根据这个歪道邪理，得到调整J，使得L最大化的思路了，需要注意的是，由于J包含着俩变量Q和θ，所以应该采用固定变量法来调整：

（1）先固定θ，调整Q，使上图中青绿色的那条线上升到深蓝色的线的位置，即J上升至与L的曲线相切处，此时，J和L在θ处相遇；

（2）再固定Q，调整θ，使青绿色虚线右移至深蓝色虚线处，即J到达最大值。此时，由于θ更新了，所以EM算法会在新的θ处重新计算Q函数，那么曲线就会有所变化；

（3）根据新的Q曲线，重复上述两个步骤，直到收敛至L(θ)的最大值处的θ*，也就是找到了使得似然函数值最大的那个参数θ。

其实至此，我们已经对EM算法有了比较通俗的理解了，但还不够全面，我们再来看下公式1，当我们固定θ调整Q的时候，总得有个标准来判断J和L是否在某个点相等吧，也就是公式1中等号成立的条件是啥？另外，像上面所说的那样调整来调整去的，真的一定能找到最大值哪怕仅仅是局部最大吗？凭什么说人家一定收敛？

来来来，我们先看下不等号成立的条件，在Jensen不等式中，我们说过了，当变量X是常数的时候，等式成立。也就是说，要让等号成立，则有：

这么写没毛病吧？要注意前面我们说过的，上式为g(x)，要使变量X为常量，即g(x)是常量，这里的 $\frac{p(x^{(i)},z^{(i)};\theta )}{Q_{i}(z^{(i)})}$ 就是随机变量X。好，我们继续。上述再变化一下：

$\sum_{z}p(x^{(i)},z^{(i)};\theta )=c\sum_{z}Q(z^{(i)})$

而且我们知道， $\sum_{z}Q_{i}(z^{i})=1$ ，所以对于上式就有：

$\sum_{z}p(x^{(i)},z^{(i)};\theta)=c$

我们把上式代回到

得到：

$\begin{align} Q(z^{(i)})&=\frac{p(x^{(i)},z^{(i)};\theta)}{\sum_{z}p(x^{(i)},z^{(i)};\theta)}\\ &=\frac{p(x^{(i)},z^{(i)};\theta)}{p(x^{(i)};\theta)}\\ &=p(z^{(i)}|x^{(i)};\theta) \end{align}$

咦？谁能告诉我公式里的编号为啥不在右边嘞？不管了，从（1）到（2）是因为我们对z的边缘概率求和了，所以求和符号就没了，这个我们在上面讲过，就是整体与部分的关系，（1）式其实就是z取得各种情况的概率之和。从（2）到（3）是由条件概率计算公式来的，也就是P(A|B)=P(A, B)/P(B)。这里需要注意的是，一会儿分号一会儿“|”的啥意思？其实这是写法造成的，因为公式中存在多个参数，需要确定优先级，也就是上式（3）中，竖线代表一个条件概率，分号后的参数代表在这个条件概率中，θ参与其中了。

好了，我们现在不知不觉把EM算法中的E步给推导出来了，就是确定Q函数，上述公式中，表明了Q函数的计算方法，这给我们选择Q函数提供了依据。确定了Q函数，我们就可以建立L(θ)的下界，即可固定θ来调整Q，使J(θ)增大。

有了E步后，我么还需要计算M步。M步就很好理解了，当我们求出Q后，我们需要把Q代回到公式1中的（3），即得到关于θ的最大似然函数式：

$J(\theta)=\underset{\theta }{argmax}\sum_{i}\sum_{z^{(i)}}Q_{i}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}$

根据该似然函数，我们又可以求得使的似然函数值最大的新的θ，再用新的θ求新的Q，然后再用新的Q求新的θ……周而复始，循环重复，直到收敛为止。那么就有了上面提到的第二个问题：收敛性。

算法真的能收敛吗？如果能，啥时候算收敛？说实话，我是很不想证明这一块，一堆数学公式，让人头疼，但是这又是了解EM算法的一部分，所以如果大伙不愿意看，略过吧，记住结论就行，就是一定会收敛！这里先再把公式1抛出来：

公式1中我们提到，根据Jensen不等式，我们需要最大化（3），逼大L(θ)的下界，使L(θ)增大，现在我们用迭代法做这件事后，肯定就会出现 $\theta^{(t)}$ 和 $\theta^{(t+1)}$ 这一过程，前者是上一轮迭代算出来θ，后者是当前要算的θ，我们把这俩θ代入公式1中，可以得到：

$\sum_{i}\log p(x^{(i)};\theta^{(t+1)})=L(\theta^{(t+1)})>=\sum_{i}\sum_{z^{(i)}}\log \frac{p(x^{(i)},z^{(i)};\theta^{(t+1)})}{Q_{i}^{(t)}(z^{(i)})}$

这里Q的上标是t的原因是这里我们是在调整θ，固定Q，所以Q仍然保持上一轮的状态。而我们知道， t+1轮的θ是t轮结果的最大化后生成的新的θ，即t轮是t+1轮的下界，所以上式又有：

$\sum_{i}\sum_{z^{(i)}}\log \frac{p(x^{(i)},z^{(i)};\theta^{(t+1)})}{Q_{i}^{(t)}(z^{(i)})}>=\sum_{i}\sum_{z^{(i)}}\log \frac{p(x^{(i)},z^{(i)};\theta^{(t)})}{Q_{i}^{(t)}(z^{(i)})}=L(\theta^{(t)})$

总的，就有：

$L(\theta^{(t+1)})>=L(\theta^{(t)})$

我们知道，如果对于任意第t次迭代后的值，都有f(t)>=f(t-1)，那么经过无数次迭代后，一定能找到使f最大化的θ，对于上式，我们换句话说，就是当任意第t+1次用到的参数θ得到的似然函数L的值，都比其前一次迭代用到的θ所得到的L的值要大，因此，证明了EM算法的收敛性。我们判断收敛的方式可以是观察L的值随着继续迭代不再增加，或者也可以设置一个阈值，判断两次迭代后θ或L的值差是否小于该阈值，如果小于，那么说明θ或L基本稳定在一定区间，可以停止迭代，同理也可以判断Q函数。

上述证明与说法不够严谨，但是秉持着通俗理解的原则，以此足矣，望见谅。

3. EM算法总结

通过上面的分析，我们终于可以总结一下EM算法啦！总的来说，EM算法分为E步和M步：

（1）给参数θ即第0步赋初值 $\theta^{(0)}$ ；

（2）E步：如果是第一轮迭代，那么令θ= $\theta^{(0)}$ 来计算Q函数；如果是>1轮迭代，则θ的值由上一次M步计算出的θ值决定。由于E步时θ已知，所以只需要计算Q，公式如下：

$Q^{(t)}(z^{(i)})=p(z^{(i)}|x^{(i)};\theta^{(t)})$

也就是给定θ和已知的观测数据x的条件下，求一下隐变量z的条件概率。

（3）M步： 根据E步计算出来的Q，按如下公式计算θ：

$\theta^{(t+1)}=J(\theta^{(t+1)})=\underset{\theta }{argmax}\sum_{i}\sum_{z^{(i)}}Q_{i}^{(t)}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\theta^{(t)})}{Q_{i}^{(t)}(z^{(i)})}$

也就是固定Q（z也固定）和已知的观测数据x，算一下θ。

（4）重复（3）和（4）直至收敛。

公式看起来很复杂，但是面对具体问题时，该有的数据我们都有，所以只需要把具体的数套进对应的公式里就行，千万别晕，特别是接下来要介绍的EM算法在高斯混合模型中的应用，附上代码后，大家就知道有多简单了。其实最难的就是我们上面分析的关于EM算法的思想和推导。

三、EM算法在高斯混合模型中的应用（重要）

EM算法其实是一种数学工具，它的主要能力是求解隐含有未知隐变量的一系列似然估计问题。让我们回到第二章第一节的幼儿园小朋友身高的例子。我们再具体描述一下问题：假设从幼儿园中随机抽取200位小朋友测量其身高，现在已知每位小朋友的身高，以及男孩身高服从 $N(\mu_1,\sigma_1^2)$ ，女孩身高服从 $N(\mu_2,\sigma_2^2)$ ，但现在男女的身高数据混在一起了，我们不清楚每个数据究竟属于男孩身高还是女孩身高，在这种情况下，我们仍然需要估计 $\mu _{1}$ ， $\mu _{2}$ ， $\sigma _{1}$ ， $\sigma _{2}$ ，很明显，性别是个隐变量。这种由若干个高斯分布混合而成的模型就是高斯混合模型，求解这类问题，就可以用到EM算法。

现在我们抽象一下上述问题，表述如下：

随机变量X是由K个高斯分布混合而成，且各个高斯分布的概率为 $\pi_{1}, \pi_{2}, ..., \pi_{K}$ ，第i个高斯分布的均值为 $\mu_{i}$ ，方差为 $\sigma_{i}$ 。假设我们观测到随机变量X的一系列样本值为 $x_{1}, x_{2}, ..., x_{n}$ ，试估计参数π，μ，σ。

这里的 $x_{1}, x_{2}, ..., x_{n}$ 就是200位小朋友的身高值。好了，我们参照上文推导的EM算法的思路来推导一下高斯混合模型。

这里为了区分变量名，我们将π用φ替换。

第一步：给φ，μ，σ赋初值，开启迭代；

第二步：E步。如果是首轮迭代，那么φ，μ，σ分别为我们给定的初值；否则φ，μ，σ取决于上一轮迭代的值。有了φ，μ，σ的值，我们计算Q函数：

$\begin{aligned} w_{k}^{(i)}&=Q_{i}(z^{(i)}=k)\\ &=p(z^{(i)}=k|x^{(i)};\phi_{k}, \mu_{k}, \sigma_{k})\\ &=\frac{\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]}{\sum_{k=1}^{K}\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]} \end{aligned}$

i=1,2,...,N；k=1,2,...,K

千万别看复杂了，其实就是一个概率乘以一个高斯分布式，再除以一个k取各个分模型的概率之和。i表示第i个样本，k表示第k个分模型。

第三步：M步。根据似然函数公式：

$L(\theta)=\sum_{i}^{N}\sum_{z^{(i)}}Q_{i}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\theta)}{Q_{i}(z^{(i)})}$

我们套用高斯分布的各个参数，得到：

$\begin{align} L(\phi,\mu,\sigma)&=\sum_{i}^{N}\sum_{z^{(i)}}Q_{i}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\phi,\mu,\sigma)}{Q_{i}(z^{(i)})}\\ &=\sum_{i}^{N}\sum_{k=1}^{K}Q_{i}(z^{(i)}=k)\log \frac{p(x^{(i)}|z^{(i)}=k;\mu,\sigma)\cdot p(z^{(i)}=k;\phi)}{Q_{i}(z^{(i)}=k)}\\ &=\sum_{i}^{N}\sum_{k=1}^{K}Q_{i}^{(i)}\log \frac{\frac{1} {(2\pi)^{n/2}\left | \sigma_{k} \right |^{1/2}}\exp [-\frac{1}{2}(x^{(i)}-\mu_{k})^T\sigma_{k}^{-1}(x^{(i)}-\mu_{k})]\cdot \phi_{k}} {Q_{k}^{(i)}} \end{align}$

别慌，我来解释一下，（1）很好理解，就是我们前面推导出的似然函数的表达式，只不过前面我们参数用θ表示，这里θ就是高斯分布式的参数；（2）式中，log后的分子其实就是（1）式中分子根据条件概率计算公式变换而来，这个我们在上文中也讲过，这里之所以把μ和σ分配给前一个p，是因为前一个概率p中我们计算的是在z=k条件下x的概率值，而x是服从高斯分布的，所以它仅和μ与σ有关，而后一个p的意义是，在参数φ的参与下，z取得第k个分模型的概率，实际上就是概率φk，对吧，因为φk的定义就是z取得第k个分模型的概率；（3）式中，唯一比较不同的是φk前面的那一串公式，它其实就是高斯分布式，不要想太多，只不过它是属于多元高斯分布式，我们平时写的都是一元的，这里是多元的，这个可以参考多元高斯分布（The Multivariate normal distribution） - bingjianing - 博客园。

好了，我们根据上面的式子，分别对φ，μ，σ求偏导，并令偏导为0，复杂的求导过程我这里就不啰嗦了，复杂而难用的公式编辑，冗长的篇幅，还容易写错，大家感兴趣自己下去照着书推导一遍就好，除了φ的求解需要用到拉格朗日算子，其它的就是常规求导。这样可以得出每个参数的求解形式：

$\begin{aligned} \mu_{k}&=\frac{\sum_{i=1}^{N} Q_{k}^{(i)}x^{(i)}}{N_{k}}\\ \sigma_{k}&=\frac{\sum_{i=1}^{N}Q_{k}^{(i)}(x^{(i)}-\mu_{(k)})(x^{(i)}-\mu_{k})^T}{N_{k}}\\ \phi_{k}&=\frac{\sum_{i=1}^{N}Q_{k}^{(i)}}{N}\\ N_{k}&=\sum_{i=1}^{N}Q_{k}^{(i)} \end{}$

注意Nk和N是不一样的，N是总体样本量，而Nk是每个样本属于各个分模型的概率之和，比如样本x1属于性别男（k=男）的概率是0.98，x2属于性别男的概率是0.84，x3属于性别男的概率是0.91，那么Nk就是0.98+0.84+0.91，同理，还要算一下x1，x2，x3属于性别女（k=女）的概率。

EM算法对初值的选取是敏感的，初值选的好，可能没几下就收敛了，所以初值的选择很重要哦，但是又没有普适的方法，只能靠经验和人品……

四、Python代码实现

待补充……

五、总结

OMG！终于写完了，写EM算法真的是折寿。所以希望大家如果得到帮助，多多支持我，有问题的及时指出，觉得好好的求点赞关注+收藏！真的很不容易，写了好久……

总结一下吧：

1. EM算法解决什么问题？

带有隐变量的极大似然参数估计问题。

2. EM算法的通俗解释是啥？

对带有隐变量的极大似然估计问题，拆解成E步和M步进行计算，E步是在最开始人为给个初值，后续迭代使用更新值，计算关于隐变量的期望值，称为Q函数，其余参数固定不变。M步是利用E步算出来的Q，代入似然函数求解使得似然函数取得最大值的其余参数。E步和M步循环迭代，直到收敛为止。

3. EM算法的具体步骤？

（1）给参数θ即第0步赋初值 $\theta^{(0)}$ ；

$Q^{(t)}(z^{(i)})=p(z^{(i)}|x^{(i)};\theta^{(t)})$

也就是给定θ和已知的观测数据x的条件下，求一下隐变量z的条件概率。

（3）M步： 根据E步计算出来的Q，按如下公式计算θ：

$\theta^{(t+1)}=J(\theta^{(t+1)})=\underset{\theta }{argmax}\sum_{i}\sum_{z^{(i)}}Q_{i}^{(t)}(z^{(i)})\log \frac{p(x^{(i)},z^{(i)};\theta^{(t)})}{Q_{i}^{(t)}(z^{(i)})}$

也就是固定Q（z也固定）和已知的观测数据x，算一下θ。

（4）重复（3）和（4）直至收敛。

4. 高斯混合模型（GMM）是啥？

随机变量X（一堆样本）由若干个不同的高斯分布组合而成，也就是在某个样本集中，组成该样本集的每个样本服从不同的高斯分布，那么由这样一个随机变量X决定的分布模型，称为混合高斯分布模型。求解这样的模型参数估计，可以用EM算法，其中，样本属于哪个分模型的未知事件，为高斯混合模型的隐变量。

5. 高斯混合模型的EM算法步骤？

假设随机变量X是由K个高斯分布混合而成，各个高斯分布的概率为 $\phi_{1}, \phi_{2}, ..., \phi_{K}$ ，第i个高斯分布的均值为 $\mu_{i}$ ，方差为 $\sigma_{i}$ 。我们观测到随机变量X的一系列样本值为 $x_{1}, x_{2}, ..., x_{n}$ ，计算如下：

第一步：给φ，μ，σ赋初值，开启迭代，高斯混合模型的φ，μ，σ有多个，就分别赋初值；

第二步：E步。如果是首轮迭代，那么φ，μ，σ分别为我们给定的初值；否则φ，μ，σ取决于上一轮迭代的值。有了φ，μ，σ的值，我们按照如下公式计算Q函数：

$\begin{aligned} Q_{i}(z^{(i)}=k)=\frac{\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]}{\sum_{k=1}^{K}\phi_{k}\cdot \frac{1}{\sqrt{2\pi}\sigma_{k}}\exp [-\frac{(x^{(i)}-\mu_{k})^{2}}{2\sigma_{k}^{2}}]} \end{aligned}$

其中，φ，σ，μ，x均已知，代入即可，i=1,2,...,N；k=1,2,...,K

第三步：M步。根据计算出来的Q，套进以下公式算出高斯混合模型的各个参数：

重复2~3步，直至收敛。

6. 高斯混合模型干啥使？

图像的前景和背景的分离；人群特征的分析；经济数据的分析等；

终于写完了，望各位大佬批评指正，不胜感激！为了首尾呼应，再表示一下我此刻的心情：

参考文档：

[1]. 我们该怎么认识“数学期望”

[2]. 最大似然估计_jubary的博客-CSDN博客_最大似然估计

[3]. 多元高斯分布（The Multivariate normal distribution） - bingjianing - 博客园

[4]. EM算法_纸上得来终觉浅～的博客-CSDN博客_em算法

[5]. 《统计学习方法》李航

你可能感兴趣的:(大道至简系列,#,机器学习算法系列,机器学习,算法,人工智能,python)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数广龙宇一起学Rust #Rust设计模式 rust 设计模式开发语言
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchain easyui 前端 python
#探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库 python
深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
2019-08-08 65454
东莞家庭聚会出行旅游去哪里玩住？想起来有很久没有和家里人聚会啦，这次组织家人来到威廉古堡别墅轰趴，一大家子27个人，在别墅订了一天办，玩的非常的开心，小孩子玩游戏机，也很放心不会丢，我们就在唱歌、打麻将、打桌球一系列的活动，还准备小次等小孩生日在别墅举办，还可以给孩子做一个生日的策划
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
MYSQL面试系列-04 king01299 面试 mysql 面试
MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
数据仓库——维度表一致性墨染丶eye 背诵数据仓库
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
[黑洞与暗粒子]没有光的世界 comsci
无论是相对论还是其它现代物理学,都显然有个缺陷,那就是必须有光才能够计算但是,我相信,在我们的世界和宇宙平面中,肯定存在没有光的世界.... 那么,在没有光的世界,光子和其它粒子的规律无法被应用和考察,那么以光速为核心的 &nbs
jQuery Lazy Load 图片延迟加载 aijuans jquery
基于 jQuery 的图片延迟加载插件，在用户滚动页面到图片之后才进行加载。对于有较多的图片的网页，使用图片延迟加载，能有效的提高页面加载速度。版本： jQuery v1.4.4+ jQuery Lazy Load v1.7.2 注意事项：需要真正实现图片延迟加载，必须将真实图片地址写在 data-original 属性中。若 src
使用Jodd的优点 Kai_Ge jodd
1. 简化和统一 controller ，抛弃 extends SimpleFormController ，统一使用 implements Controller 的方式。 2. 简化 JSP 页面的 bind, 不需要一个字段一个字段的绑定。 3. 对 bean 没有任何要求，可以使用任意的 bean 做为 formBean。使用方法简介
jpa Query转hibernate Query 120153216 Hibernate
public List<Map> getMapList(String hql, Map map) { org.hibernate.Query jpaQuery = entityManager.createQuery(hql); if (null != map) { for (String parameter : map.keySet()) { jp
Django_Python3添加MySQL/MariaDB支持 2002wmj mariaDB
现状首先，[email protected] 中默认的引擎为 django.db.backends.mysql 。但是在Python3中如果这样写的话，会发现 django.db.backends.mysql 依赖 MySQLdb[5] ，而 MySQLdb 又不兼容 Python3 于是要找一种新的方式来继续使用MySQL。 MySQL官方的方案首先据MySQL文档[3]说，自从MySQL
在SQLSERVER中查找消耗IO最多的SQL 357029540 SQL Server
返回做IO数目最多的50条语句以及它们的执行计划。 select top 50 (total_logical_reads/execution_count) as avg_logical_reads, (total_logical_writes/execution_count) as avg_logical_writes, (tot
spring UnChecked 异常官方定义！ 7454103 spring
如果你接触过spring的事物管理！那么你必须明白 spring的非捕获异常！即 unchecked 异常！因为 spring 默认这类异常事物自动回滚！！ public static boolean isCheckedException(Throwable ex) { return !(ex instanceof RuntimeExcep
mongoDB 入门指南、示例 adminjun java mongodb 操作
一、准备工作 1、下载mongoDB 下载地址：http://www.mongodb.org/downloads 选择合适你的版本相关文档：http://www.mongodb.org/display/DOCS/Tutorial 2、安装mongoDB A、不解压模式：将下载下来的mongoDB-xxx.zip打开，找到bin目录，运行mongod.exe就可以启动服务，默
CUDA 5 Release Candidate Now Available aijuans CUDA
The CUDA 5 Release Candidate is now available at http://developer.nvidia.com/<wbr></wbr>cuda/cuda-pre-production. Now applicable to a broader set of algorithms, CUDA 5 has advanced fe
Essential Studio for WinRT网格控件测评 Axiba JavaScript html5
Essential Studio for WinRT界面控件包含了商业平板应用程序开发中所需的所有控件，如市场上运行速度最快的grid 和chart、地图、RDL报表查看器、丰富的文本查看器及图表等等。同时，该控件还包含了一组独特的库，用于从WinRT应用程序中生成Excel、Word以及PDF格式的文件。此文将对其另外一个强大的控件——网格控件进行专门的测评详述。网格控件功能 1、
java 获取windows系统安装的证书或证书链 bewithme windows
有时需要获取windows系统安装的证书或证书链，比如说你要通过证书来创建java的密钥库。有关证书链的解释可以查看此处。 public static void main(String[] args) { SunMSCAPI providerMSCAPI = new SunMSCAPI(); S
NoSQL数据库之Redis数据库管理(set类型和zset类型) bijian1013 redis 数据库 NoSQL
4.sets类型 Set是集合，它是string类型的无序集合。set是通过hash table实现的，添加、删除和查找的复杂度都是O(1)。对集合我们可以取并集、交集、差集。通过这些操作我们可以实现sns中的好友推荐和blog的tag功能。 sadd：向名称为key的set中添加元
异常捕获何时用Exception，何时用Throwable bingyingao
用Exception的情况 try { //可能发生空指针、数组溢出等异常 } catch (Exception e) {
【Kafka四】Kakfa伪分布式安装 bit1129 kafka
在http://bit1129.iteye.com/blog/2174791一文中，实现了单Kafka服务器的安装，在Kafka中，每个Kafka服务器称为一个broker。本文简单介绍下，在单机环境下Kafka的伪分布式安装和测试验证 1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不
Project Euler bookjovi haskell
Project Euler是个数学问题求解网站，网站设计的很有意思，有很多problem，在未提交正确答案前不能查看problem的overview，也不能查看关于problem的discussion thread，只能看到现在problem已经被多少人解决了，人数越多往往代表问题越容易。看看problem 1吧： Add all the natural num
Java-Collections Framework学习与总结-ArrayDeque BrokenDreams Collections
表、栈和队列是三种基本的数据结构，前面总结的ArrayList和LinkedList可以作为任意一种数据结构来使用，当然由于实现方式的不同，操作的效率也会不同。这篇要看一下java.util.ArrayDeque。从命名上看
读《研磨设计模式》-代码笔记-装饰模式-Decorator bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.io.BufferedOutputStream; import java.io.DataOutputStream; import java.io.FileOutputStream; import java.io.Fi
Maven学习(一) chenyu19891124 Maven私服
学习一门技术和工具总得花费一段时间，5月底6月初自己学习了一些工具，maven+Hudson+nexus的搭建，对于maven以前只是听说，顺便再自己的电脑上搭建了一个maven环境，但是完全不了解maven这一强大的构建工具，还有ant也是一个构建工具，但ant就没有maven那么的简单方便，其实简单点说maven是一个运用命令行就能完成构建，测试，打包，发布一系列功
[原创]JWFD工作流引擎设计----节点匹配搜索算法(用于初步解决条件异步汇聚问题) 补充 comsci 算法工作 PHP 搜索引擎嵌入式
本文主要介绍在JWFD工作流引擎设计中遇到的一个实际问题的解决方案，请参考我的博文"带条件选择的并行汇聚路由问题"中图例A2描述的情况(http://comsci.iteye.com/blog/339756),我现在把我对图例A2的一个解决方案公布出来，请大家多指点节点匹配搜索算法(用于解决标准对称流程图条件汇聚点运行控制参数的算法) 需要解决的问题：已知分支
Linux中用shell获取昨天、明天或多天前的日期 daizj linux shell 上几年昨天获取上几个月
在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday' # 或 date -d 'last day' # 获取明天 date -d 'tomorrow' # 或 date -d 'next day' # 获取上个月 date -d 'last month' #
我所理解的云计算 dongwei_6688 云计算
在刚开始接触到一个概念时，人们往往都会去探寻这个概念的含义，以达到对其有一个感性的认知，在Wikipedia上关于“云计算”是这么定义的，它说： Cloud computing is a phrase used to describe a variety of computing co
YII CMenu配置 dcj3sjt126com yii
Adding id and class names to CMenu We use the id and htmlOptions to accomplish this. Watch. //in your view $this->widget('zii.widgets.CMenu', array( 'id'=>'myMenu', 'items'=>$this-&g
设计模式之静态代理与动态代理 come_for_dream 设计模式
静态代理与动态代理代理模式是java开发中用到的相对比较多的设计模式，其中的思想就是主业务和相关业务分离。所谓的代理设计就是指由一个代理主题来操作真实主题，真实主题执行具体的业务操作，而代理主题负责其他相关业务的处理。比如我们在进行删除操作的时候需要检验一下用户是否登陆，我们可以删除看成主业务，而把检验用户是否登陆看成其相关业务
【转】理解Javascript 系列 gcc2ge JavaScript
理解Javascript_13_执行模型详解摘要: 在《理解Javascript_12_执行模型浅析》一文中,我们初步的了解了执行上下文与作用域的概念，那么这一篇将深入分析执行上下文的构建过程，了解执行上下文、函数对象、作用域三者之间的关系。函数执行环境简单的代码:当调用say方法时，第一步是创建其执行环境，在创建执行环境的过程中，会按照定义的先后顺序完成一系列操作:1.首先会创建一个
Subsets II hcx2013 set
Given a collection of integers that might contain duplicates, nums, return all possible subsets. Note: Elements in a subset must be in non-descending order. The solution set must not conta
Spring4.1新特性——Spring缓存框架增强 jinnianshilongnian spring4
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
shell嵌套expect执行命令 liyonghui160com
一直都想把expect的操作写到bash脚本里,这样就不用我再写两个脚本来执行了,搞了一下午终于有点小成就,给大家看看吧. 系统:centos 5.x 1.先安装expect yum -y install expect 2.脚本内容: cat auto_svn.sh #!/bin/bash
Linux实用命令整理 pda158 linux
0. 基本命令　　linux 基本命令整理　　1. 压缩解压　　tar -zcvf a.tar.gz a #把a压缩成a.tar.gz 　　tar -zxvf a.tar.gz #把a.tar.gz解压成a 　　2. vim小结　　2.1 vim替换　　:m,ns/word_1/word_2/gc
独立开发人员通向成功的29个小贴士 shoothao 独立开发
概述：本文收集了关于独立开发人员通向成功需要注意的一些东西,对于具体的每个贴士的注解有兴趣的朋友可以查看下面标注的原文地址。明白你从事独立开发的原因和目的。保持坚持制定计划的好习惯。万事开头难，第一份订单是关键。培养多元化业务技能。提供卓越的服务和品质。谨小慎微。营销是必备技能。学会组织，有条理的工作才是最有效率的。 “独立
JAVA中堆栈和内存分配原理 uule java
1、栈、堆 1.寄存器：最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制.2. 栈：存放基本类型的变量数据和对象的引用，但对象本身不存放在栈中，而是存放在堆（new 出来的对象）或者常量池中（字符串常量对象存放在常量池中。）3. 堆：存放所有new出来的对象。4. 静态域：存放静态成员（static定义的）5. 常量池：存放字符串常量和基本类型常量（public static f