Twilight Sparkle.

【机器学习笔记10】EM算法——直观理解与详细推导

似然函数

极大似然估计（Maximum Likelihood Estimate，MLE）

极大似然估计应用

求解极大似然估计

初识EM算法

问题引入

隐变量

直观理解EM算法

隐变量的后验概率分布

EM算法公式详细推导

含隐变量的对数似然函数

利用jensen不等式转化方程

jeasen不等式转化详解

如何表示期望

为什么是凹函数

转化对数似然方程式为不等式

拔高下界

什么时候下界与对数似然相等

EM算法总结

EM算法应用场景

EM算法步骤

关于EM算法的重要说明

算法优缺点

EM算法的应用

本文章为EM算法笔记，本人学习和参考的文章：如何通俗理解EM算法_v_JULY_v的博客-CSDN博客_em算法

在开始之前，我们需要先复习一些在概率统计中学过的东西。

似然函数

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

L(θ|x)=P(X=x|θ)。

注：L(θ|x)也可以写为L(θ:x)

用例说明可能会更好理解：

考虑一个抛硬币实验，每次抛硬币相互独立，我们先假设正面朝上的概率 ,那么两次正面朝上的概率就是：

现在换一种角度，已知“两次抛硬币都是正面朝上”，则硬币正面朝上的概率为0.5的似然就是：

同理，硬币正面朝上的概率为0.6的似然就是0.36。

极大似然估计（Maximum Likelihood Estimate，MLE）

极大似然估计也称为最大似然估计。

比如现在有一个袋子，里面装有白球和红球，你在里面随机抓了10个球，发现9个都是红球，那么你可以猜测从这个袋子抓出红球的概率为0.9，而抓出白球的概率为0.1。也就是说，我们根据样本来推测“为什么抓出来的样本会是这样”最可能的原因。

这种根据样本推断最可能的模型未知参数的方法叫做极大似然估计。

回到上面那个抛硬币的例子：如果两次抛硬币都是正面朝上。我们已经计算了当时，似然函数等于0.25；当时，似然函数等于0.36。计算时，似然函数将会等于1，此时是最大的。

那么“两次抛硬币都正面朝上”的实验推出的极大似然估计就是“硬币正面朝上的概率为1”。

极大似然估计应用

现在我们使用抽样统计的方法从一个学校里随机抽取了100名男生和100名女生，并且统计他们各自的身高。

假设男生的身高服从高斯分布 $X \sim N(\mu_1,\sigma_1^2)$ ,女生身高服从另一个高斯分布 $X \sim N(\mu_2,\sigma_2^2)$ 。不过我们只知道他们服从高斯分布模型，并不知道这两个模型的各个参数，即 $\mu,\sigma$

是未知参数。

现在，设 $\theta = [\mu,\sigma]^T$ 。我们需要利用极大似然估计，通过100个男生样本和100个女生样本分别估计各自的 $\theta$ 。因为求男生和求女生的过程一样，只是样本不同。所以接下来仅以求解男生身高对应的极大似然估计为例。

令x_i为来自男生样本集X的第i个样本。现在套入之前提到的似然函数 $L(\theta)$ ：

$L(\theta) = P(X=x|\theta)= P(x_1,x_2,...,x_n|\theta) = \prod_{i=1}^nP(x_i|\theta)$

现在要求 $\hat\theta$ 使得似然函数 $L(\theta)$ 最大，求得的 $\hat\theta$ 即 $\theta$ 的极大似然估计。用公式写出来就是：

$\hat \theta = argmaxL(\theta)$

求解极大似然估计

将似然函数化为对数似然函数：

$\ell(\theta) = lnL(\theta) = ln\prod_{i=1}^nP(x_i|\theta) = \sum_{i=1}^nlnP(x_i|\theta)$

转化成对数似然函数后，再求导（或偏导），令导数为0，解得的参数就是极大似然估计。

求解极大似然估计的一般步骤：

写出似然函数
化位对数似然函数
求导数，令导数为0，得到似然方程
求解似然方程

这里顺带提一下最大似然估计的适用条件：

1.样本独立同分布

2.已知样本服从某种分布模型，只是参数未知

以上都是概率统计的内容复习，及如何通过已知服从单个概率模型的样本集求解该模型的未知参数。

初识EM算法

问题引入

刚才提到，要想使用极大似然估计，必须确保样本都服从同一个分布。比如，我们通过100个男生身高样本使用极大似然估计可以算出男生身高服从的高斯模型。

现在，考虑这样一种情况：男女生的样本混合在一起了，你不知道这200个样本哪个是男生，哪个是女生。现在要想计算男女生各自服从的高斯模型的未知参数，就需要用到EM算法。

隐变量

像上述问题中这种“不知道样本属于男生还是女生”在EM算法中被称为隐变量。隐变量记作Z，样本i的隐变量记作。

隐变量指不可观测数据，比如聚类中，训练样本集给出了特征却没给出类别。这时候样本的类别就是隐变量。

一般用Y表示可观测到的随机变量的数据，Z表示不可观测的随机变量的数据。Y与Z合起来被称为完全数据，只有Y则被称作不完全数据。

直观理解EM算法

假设有5枚硬币，这些硬币来自A,B两类，但我们不知道它们各自属于哪类硬币。现在把这5枚硬币各抛10次，请根据样本数据推测A,B两类硬币各自的“正面朝上的极大似然估计”，并且将这5枚硬币分类。

那么在上述例子中，“硬币种类”就是我们的隐变量，设为向量Z，

（注：H代表正面朝上，T代表反面朝上）

硬币序号	硬币类别	结果（X）	统计
1	,未知	H T T T T H T T T T	2H,8T
2	,未知	H H H H T H H H H H	9H,1T
3	,未知	H T H T H H T T H H	6H,4T
4	,未知	T H T T H T T T H T	3H,7T
5	,未知	T H H H T H H H T H	7H,3T

现在使用EM算法求解：

step1:随机初始化模型参数 $\theta^{(0)}$ .

、分别是A类硬币、B类硬币正面朝上的概率，即模型未知参数 $\theta$ 。

EM算法需要设置一个初始化模型参数 $\theta^{(0)}$ ,进而推出在 $\theta^{(0)}$ 条件下的隐变量Z。

设 , 。

step2:计算隐变量

计算各硬币的隐变量：

还记得最开始提到的似然函数吗？这里就需要求似然，即L(θ|x)=P(X=x|θ)。

例：

对于1号硬币，属于A类的似然：

对于1号硬币，属于B类的似然：

$L(\theta_B^{(0)}|X = x_1) = P(X = x_1|\theta_B^{(0)}) \\= \prod_{j = 1}^{10}P(x_{1,j}|\theta_B^{(0)})\\= 0.7^2*0.3^8 = 0.3215*10^{-4}$

比较属于A类和属于B类的似然，发现A的似然更大，则把1号硬币归为A类，即令隐变量。

各枚硬币的隐变量计算：

序号	统计	A类的似然( $10^{-4}$ )	B类的似然( $10^{-4}$ )	类别（隐变量）
1	2H,8T	67.11	0.32	= A
2	9H,1T	0.004	121.06	= B
3	6H,4T	0.26	9.53	= B
4	3H,7T	16.78	0.75	= A
5	7H,3T	0.06	22.24	= B

我们通过假设模型未知参数，“猜出了”硬币各自属于哪一类，使得隐函数变为已知值，这时就满足了应用极大似然估计的条件，于是可以用极大似然估计求解未知参数 $\theta^{(1)}$ 。

step3：极大似然估计求解模型参数 $\theta^{(1)}$ .

根据 $\theta^{(0)}$ ,我们算出了1号、4号属于A类，2、3、5属于B类。于是跟新和:

$P(H_A) = \frac{2+3}{20} = 0.25$

$P(H_B) = \frac{9+6+7}{30} = 0.73$

可以看出 $\theta^{(1)}$ 与 $\theta^{(0)}$ 并不相同。聪明的你可能想到了，接下来就是迭代的过程，重复step2和step3得到 $\theta^{(2)}$ 、 $\theta^{(3)}$ ...

可以证明，模型参数会随着迭代越来越接近真实值，并且一定会收敛到局部最优值。但不一定会收敛到全局最优值。

隐变量的后验概率分布

通过初步认识EM算法，你已经大致知道EM算法在干嘛了，但是EM算法在处理隐变量时，并不是通过似然函数判断某个样本的隐变量属于哪一个特定值，而是求隐变量的后验概率分布。再通过隐变量的后验概率分布进行后续运算。所以在正式开始推导EM算法前，我们还需要知道隐变量的后验概率分布。

这个例子中我们使用期望来简化隐变量的概率分布计算。因为上面那个抛硬币的数据算出来的期望比较极端，所以这里重新举一个例子：现在有五枚硬币，分别来自A,B两类,但分类未知。

硬币序号	结果	统计
1	H H T H T	3H,2T
2	T T H H T	2H,3T
3	H T T T T	1H,4T
4	H T T H H	3H,2T
5	T H H T T	2H,3T

因为前面的过程都一样，所以我们直接来到计算出极大似然这一步。现在已经在随机固定模型参数 $\theta^{(0)}$ 的情况下计算出了每一枚硬币对应的似然：

硬币序号	A类似然	B类似然
1	0.00512	0.03087
2	0.02048	0.01323
3	0.08192	0.00567
4	0.00512	0.03087
5	0.02048	0.01323

在上一节中，接下来我们直接确认了隐变量的值。现在，我们用隐变量的期望来计算隐变量的后验概率分布。

因为每一个样本都有自己的隐变量后验概率分布，所以精确到样本的隐变量概率分布应该写为： $Q_i(z^{(i)})$ 。 $z^{(i)}$ 表示这是第i 个样本的隐变量。

例如硬币1的隐变量后验概率分布：

$P(z_1=A) = \frac{0.00512}{0.00512+0.03087} = 0.14$

其他同理，隐变量的期望如下：

硬币序号
1	0.14	0.86
2	0.61	0.39
3	0.94	0.06
4	0.14	0.86
5	0.61	0.39

再将隐变量的分布函数代入最开始的表以计算极大似然估计来计算下一轮的模型参数 $\theta^{(1)}$ ,即新的、。

计算1号各权值：

1号是A类时正面朝上的权值：

1号是A类时反面朝上的权值：

1号是B类时正面朝上的权值：

1号是B类时反面朝上的权值：

序号	统计
1	3H,2T	3*0.14 = 0.42	2*0.14 = 0.28	3*0.86 = 2.58	2*0.86 = 1.72
2	2H,3T	2*0.61 = 1.22	3*0.61 = 1.83	2*0.39 = 0.78	3*0.39 = 1.17
3	1H,4T	1*0.94 = 0.94	4*0.94 = 3.76	1*0.06 = 0.06	4*0.06 = 0.24
4	3H,2T	3*0.14 = 0.42	2*0.14 = 0.28	3*0.86 = 2.58	2*0.86 = 1.72
5	2H,3T	2*0.61 = 1.22	3*0.61 = 1.83	2*0.39 = 0.78	3*0.39 = 1.17
总权值		4.22	7.98	6.78	6.02

于是 $\theta^{(1)}$ :

$P(H_A) = \frac{4.22}{4.22+7.98} = 0.35$

$P(H_B) = \frac{6.78}{6.78+6.02} = 0.52$

这就是使用隐变量概率分布求极大既然估计的过程。

现在推广到一般情况：

EM算法公式详细推导

含隐变量的对数似然函数

之前我们提到，极大似然估计是为了求下面这个似然函数的极大值：

$L(\theta) = P(X=x|\theta)= P(x_1,x_2,...,x_n|\theta) = \prod_{i=1}^nP(x_i|\theta)$

其中，X服从独立同分布， $\theta$ 为概率分布模型参数。

根据极大似然方程的步骤，要先将似然函数化为对数似然函数：

问题在于现在X并不是同分布的样本集，同分布样本需要由X和隐变量Z共同确定。于是引入隐变量Z的对数似然变为：

这里解释一下 $P(x_i|\theta) = \sum_z^{Z^{(i)}}P(x_i,z|\theta)$ ：

此处为全概率公式，描述为：对每个样例的每种可能类别求联合分布概率和。

按照求极大似然的步骤，接下来对 $\ell(\theta)$ 应该求偏导，然后令偏导为0，求解似然方程。但是这里多了个随机变量z，像 $log\sum$ 的形式求导太过于复杂，所以我们需要转化方程：

利用jensen不等式转化方程

待会儿解释jensen不等式是什么，先看转化结果。

为了使用jensen不等式，我们需要先把分子分母都乘隐变量的某种概率分布函数 $Q_i(z^{(i)})$ 。

然后通过jensen不等式，可以将其变为：

$\ell(\theta) = \sum_{i=1}^nlog\sum_{z}^{Z^{(i)}}P(x_i,z|\theta) \qquad (1)\\.\qquad\quad = \sum_{i=1}^nlog\sum_{z}^{Z^{(i)}}Q_i(z)\frac{P(x_i,z|\theta)}{Q_i(z)} \qquad (2)\\.\qquad\quad \geq \sum_{i=1}^n\sum_{z}^{Z^{(i)}}Q_i(z)log\frac{P(x_i,z|\theta)}{Q_i(z)} \qquad (3)$

（注：因为z来自于 $Z^{(i)}$ ，所以其实z 就是 $z^{(i)}$ 的简写。）

可以看出对于 (3) 式就很好求导了。

接下来说明是如何从 (2) 转化为 (3) 的。

jeasen不等式转化详解

（国际定义）凸函数：设f(x)为定义域为实数的函数。

对于所有实数x，若 $f''(x) \geq0$ ,则f(x)为凸函数。即下凹为凸，上凸为凹。
当x为向量，如果hessian矩阵H是半正定的（ $H\geq0$ ）,那么 $f(\vec x)$ 为凸函数。
若或H>0 ，则f(x)为严格凸函数。

Jeasen不等式：

如果f是凸函数，X是随机变量，那么：，通俗的说法是函数的期望大于等于期望的函数。而凹函数反之。

特别地，如果f是严格凸函数，当且仅当。即X是常量时，有。

图就不画了，大概了解上述的用法即可。所以要用jeason不等式的关键在于，函数要为凸或凹函数，且需要表示出期望。

如何表示期望

通过将公式变成含有 $Q_i(z^{(i)})$ 的式子。我们可以表示出期望：

如果你还记得期望公式的懒人定理：

    设Y是关于随机变量X的函数, ,g为连续函数，那么：

    若X是离散型随机变量，X分布律为,若 $\sum_{k=1}^\infty g(x_k)p_k$ 绝对收敛则有：

     $E(Y) = E[g(X)] = \sum_{k=1}^\infty g(x_k)p_k$

    若X是连续型随机变量，X的概率密度为f(x)，若 $\int_{-\infty}^\infty g(x)f(x)dx$ 绝对收敛，则有：

     $E(Y) = E[g(X)] = \int_{-\infty}^\infty g(x)f(x)dx$

根据懒人定理，（2）中的 $\sum_{z}^{Z^{(i)}}Q_i(z)\frac{P(x_i,z|\theta)}{Q_i(z)}$ 就是 $\frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})}$ 的期望。原因： $Q_i(z^{(i)})$ 是 $z^{(i)}$ 的分布函数，而 $\frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})}$ 是关于随机变量 $z^{(i)}$ 的函数。

于是，令 $g(z^{(i)}) = \frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})}$ ,

则 $E(g(z^{(i)})) = \sum_{z}^{Z^{(i)}}Q_i(z)\frac{P(x_i,z|\theta)}{Q_i(z)}$ 。

为什么是凹函数

在（1）式中，将 $log\sum_{z}^{Z^{(i)}}P(x_i,z|\theta)$ 看作一个整体，即。由于，所以是凹函数。

转化对数似然方程式为不等式

由于是凹函数，所以不等式反向： $f(E[X])\geq E[f(x)]$ ,

令 $f(x) = logx,X = g(z^{(i)})$ 则：

$f(E[X]) = f(E[g(z^{(i)})]) = log\sum_{z}^{Z^{(i)}}Q_i(z)\frac{P(x_i,z|\theta)}{Q_i(z)}$

$E[f(X)] = E[f(g(z^{(i)}))] = \sum_{z}^{Z^{(i)}}Q_i(z)log\frac{P(x_i,z|\theta)}{Q_i(z)}$ ;

于是：

至此，我们得到了一个好求偏导的公式。

拔高下界

回顾我们的目标：使 $\ell(\theta)$ 最大化，直至目前，我们通过jensen不等式，获得了一个可以求导的公式。现在的目的是通过获得 $\ell(\theta)$ 最大值。

我们可以通过不断最大化来让 $\ell(\theta)$ 不断提高。为了顺利理清接下来的过程，在这里回顾一下各函数和变量的说明：

$\theta$ : 模型参数（未知），我们可以假设它已知，并在不断迭代中更新 $\theta$ 。

$\ell(\theta)$ :对数似然方程，我们需要调整 $\theta$ 使得 $\ell(\theta)$ 取极大值，此时 $\hat \theta = argmax_\theta \ell(\theta)$

:隐变量z的某种概率分布。

: 不等式右边的方程，我们可以不断调整它的最大值来使得 $\ell(\theta)$ 最大。

step1.首先固定 $\theta$ ,调整使下界上升到与 $\ell(\theta)$ 在点 $\theta$ 处相等。

step2.固定,并使用极大似然估计法使 $\theta^{(t)}$ 达到最大值 $\theta^{(t+1)}$ 。

step3.再将 $\theta^{(t+1)}$ 固定为模型参数，重复以上过程，直至收敛达到 $\ell(\theta)$ 极大值。此时对应的 $\hat\theta$ 即为所求。

关于EM算法一定收敛的证明过程就暂时不写了。

step1想解决的问题可以阐述为：在模型参数已知的情况下，隐变量的最可能概率分布是什么？答案：使得与 $\ell(\theta)$ 在 $\theta$ 处相等的。

于是引出了新的问题：什么时候才与 $\ell(\theta)$ 相等？

什么时候下界与对数似然相等

回顾Jensen不等式，当X是常量时，。所以我们为了让 $J(z,Q) = \ell(\theta)$ ,需要让X为常数。

于是 $X = g(z^{(i)}) = \frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})} = c$ ,其中c为常数。

在由（1）变化（2）时，曾经提到过 $\sum_z^{Z^{(i)}}Q_i(z^{(i)}) = 1$ 。因为Q(z)是隐变量z的概率分布，概率之和为1。

现在我们可以变换公式：（先同乘分母，再化简）

因为： $\frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})} = c$ ，

所以： $\sum_z^{Z^{(i)}}P(x_i,z^{(i)}|\theta) = \sum_z^{Z^{(i)}}Q_i(z^{(i)})c = c$ ，即 $\sum_z^{Z^{(i)}}P(x_i,z^{(i)}|\theta) = c$ (1)

又因为由 $\frac{P(x_i,z^{(i)}|\theta)}{Q_i(z^{(i)})} = c$ 可得：

$Q_i(Z^{(i)}) = \frac{P(x_i,z^{(i)}|\theta)}{c}$ (2)

于是当 $J(z,Q) = \ell(\theta)$ 时,将（1）代入（2）可得：

结论：

当 $J(z,Q) = \ell(\theta)$ 时， $Q_i(z^{(i)})$ 为隐变量的后验概率分布。

EM算法总结

EM算法应用场景

EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数的极大似然估计或极大后验估计。广泛应用于缺损数据、截尾数据、成群数据、带有讨厌参数的数据等所谓不完全数据的统计推断问题。

EM算法步骤

step1：初始化模型参数 $\theta^{(0)}$ ，进入迭代。

step2（E-step）：记 $\theta^{(t)}$ 为第t次迭代参数 $\theta$ 估计值，第t+1次迭代的E-step将计算

$Q_i^{(t)}(z^{(i)}) = p(z^{(i)}|x_i;\theta^{(t)})$

step3（M-step）：利用极大似然估计，计算使极大化的 $\hat \theta$ ，作为第t+1 次迭代的参数估计值 $\theta^{(t+1)}$ 。

$\theta^{(t+1)} = argmax_\theta\sum_{i=1}^n\sum_{Z^{(i)}}Q_i^{(t)}(z^{(i)})log\frac{P(x_i,z^{(i)};\theta)}{Q_i^{(t)}(z^{(i)})}$

step4:重复step2、step3直到收敛。收敛时的 $\theta$ 即为所求。

关于EM算法的重要说明

初始化时可以随机选择 $\theta^{(0)}$ ，但是EM算法对初始值很敏感，一旦选择不好会造成很大的计算损失。对于初始值的选择也有相关的做法，这里暂时不研究。
停止迭代的条件一般是对于较小的正数A ,若满足 $|\theta^{(i+1)}-\theta^{(i)}|< A$ ，停止迭代。

算法优缺点

优点：

通常计算起来比较简单
收敛稳定，不需要设置超参数

缺点：

对大规模数据和多维高斯分布，计算量大，迭代速度慢
如果初始值设置不当，收敛过程的计算代价会非常大。
EM算法求得的是局部最优解而不一定是全局最优解。

EM算法的应用

关于EM算法的应用，例如处理混合高斯模型（GMM）。将会在下一篇文章中详细说明。

文章链接：【机器学习笔记11】高斯混合模型（GMM）【上篇】原理与推导_Twilight Sparkle.的博客-CSDN博客

你可能感兴趣的:(机器学习,聚类算法,算法,机器学习,python,聚类)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
Faiss Tips：高效向量搜索与聚类的利器焦习娜Samantha
FaissTips：高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台，包括CPU和GPU，能够在海量数据集上实现快速的近似最近邻搜索（AN
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
windows下源码安装golang 616050468 golang安装 golang环境 windows
系统： 64位win7，开发环境：sublime text 2， go版本： 1.4.1 1. 安装前准备(gcc, gdb, git) golang在64位系
redis批量删除带空格的key bylijinnan redis
redis批量删除的通常做法： redis-cli keys "blacklist*" | xargs redis-cli del 上面的命令在key的前后没有空格时是可以的，但有空格就不行了： $redis-cli keys "blacklist*" 1) "blacklist:12: [email protected]
oracle正则表达式的用法 0624chenhong oracle 正则表达式
方括号表达示方括号表达式描述 [[:alnum:]] 字母和数字混合的字符 [[:alpha:]] 字母字符 [[:cntrl:]] 控制字符 [[:digit:]] 数字字符 [[:graph:]] 图像字符 [[:lower:]] 小写字母字符 [[:print:]] 打印字符 [[:punct：]] 标点符号字符 [[:space:]]
2048源码(核心算法有，缺少几个anctionbar，以后补上) 不懂事的小屁孩 2048
2048游戏基本上有四部分组成， 1：主activity，包含游戏块的16个方格，上面统计分数的模块 2：底下的gridview，监听上下左右的滑动，进行事件处理， 3：每一个卡片，里面的内容很简单，只有一个text，记录显示的数字 4：Actionbar，是游戏用重新开始，设置等功能(这个在底下可以下载的代码里面还没有实现) 写代码的流程 1：设计游戏的布局，基本是两块，上面是分
jquery内部链式调用机理换个号韩国红果果 JavaScript jquery
只需要在调用该对象合适(比如下列的setStyles)的方法后让该方法返回该对象（通过this 因为一旦一个函数称为一个对象方法的话那么在这个方法内部this（结合下面的setStyles）指向这个对象） function create(type){ var element=document.createElement(type); //this=element;
你订酒店时的每一次点击背后都是NoSQL和云计算蓝儿唯美 NoSQL
全球最大的在线旅游公司Expedia旗下的酒店预订公司，它运营着89个网站，跨越68个国家，三年前开始实验公有云，以求让客户在预订网站上查询假期酒店时得到更快的信息获取体验。云端本身是用于驱动网站的部分小功能的，如搜索框的自动推荐功能，还能保证处理Hotels.com服务的季节性需求高峰整体储能。 Hotels.com的首席技术官Thierry Bedos上个月在伦敦参加“2015 Clou
java笔记1 a-john java
1，面向对象程序设计（Object-oriented Propramming，OOP）：java就是一种面向对象程序设计。 2，对象：我们将问题空间中的元素及其在解空间中的表示称为“对象”。简单来说，对象是某个类型的实例。比如狗是一个类型，哈士奇可以是狗的一个实例，也就是对象。 3，面向对象程序设计方式的特性： 3.1 万物皆为对象。
C语言 sizeof和strlen之间的那些事 C/C++软件开发求职面试题必备考点（一） aijuans C/C++求职面试必备考点
找工作在即，以后决定每天至少写一个知识点，主要是记录，逼迫自己动手、总结加深印象。当然如果能有一言半语让他人收益，后学幸运之至也。如有错误，还希望大家帮忙指出来。感激不尽。后学保证每个写出来的结果都是自己在电脑上亲自跑过的，咱人笨，以前学的也半吊子。很多时候只能靠运行出来的结果再反过来
程序员写代码时就不要管需求了吗？ asia007 程序员不能一味跟需求走
编程也有2年了，刚开始不懂的什么都跟需求走，需求是怎样就用代码实现就行，也不管这个需求是否合理，是否为较好的用户体验。当然刚开始编程都会这样，但是如果有了2年以上的工作经验的程序员只知道一味写代码，而不在写的过程中思考一下这个需求是否合理，那么，我想这个程序员就只能一辈写敲敲代码了。我的技术不是很好，但是就不代
Activity的四种启动模式百合不是茶 android 栈模式启动 Activity的标准模式启动栈顶模式启动单例模式启动
android界面的操作就是很多个activity之间的切换,启动模式决定启动的activity的生命周期 ; 启动模式xml中配置 <activity android:name=".MainActivity" android:launchMode="standard&quo
Spring中@Autowired标签与@Resource标签的区别 bijian1013 java spring @Resource @Autowired @Qualifier
Spring不但支持自己定义的@Autowired注解，还支持由JSR-250规范定义的几个注解，如：@Resource、 @PostConstruct及@PreDestroy。 1. @Autowired @Autowired是Spring 提供的，需导入 Package:org.springframewo
Changes Between SOAP 1.1 and SOAP 1.2 sunjing Changes Enable SOAP 1.1 SOAP 1.2
JAX-WS SOAP Version 1.2 Part 0: Primer (Second Edition) SOAP Version 1.2 Part 1: Messaging Framework (Second Edition) SOAP Version 1.2 Part 2: Adjuncts (Second Edition) Which style of WSDL
【Hadoop二】Hadoop常用命令 bit1129 hadoop
以Hadoop运行Hadoop自带的wordcount为例， hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop，需要说明的是，这些命令的使用必须在Hadoop已经运行的情况下才能执行 Hadoop HDFS相关命令 hadoop fs -ls 列出HDFS文件系统的第一级文件和第一级
java异常处理（初级）白糖_ java DAO spring 虚拟机 Ajax
从学习到现在从事java开发一年多了，个人觉得对java只了解皮毛，很多东西都是用到再去慢慢学习，编程真的是一项艺术，要完成一段好的代码，需要懂得很多。最近项目经理让我负责一个组件开发，框架都由自己搭建，最让我头疼的是异常处理，我看了一些网上的源码，发现他们对异常的处理不是很重视，研究了很久都没有找到很好的解决方案。后来有幸看到一个200W美元的项目部分源码，通过他们对异常处理的解决方案，我终
记录整理-工作问题 braveCS 工作
1）那位同学还是CSV文件默认Excel打开看不到全部结果。以为是没写进去。同学甲说文件应该不分大小。后来log一下原来是有写进去。只是Excel有行数限制。那位同学进步好快啊。 2）今天同学说写文件的时候提示jvm的内存溢出。我马上反应说那就改一下jvm的内存大小。同学说改用分批处理了。果然想问题还是有局限性。改jvm内存大小只能暂时地解决问题，以后要是写更大的文件还是得改内存。想问题要长远啊
org.apache.tools.zip实现文件的压缩和解压，支持中文 bylijinnan apache
刚开始用java.util.Zip，发现不支持中文（网上有修改的方法，但比较麻烦）后改用org.apache.tools.zip org.apache.tools.zip的使用网上有更简单的例子下面的程序根据实际需求，实现了压缩指定目录下指定文件的方法 import java.io.BufferedReader; import java.io.BufferedWrit
读书笔记-4 chengxuyuancsdn 读书笔记
1、JSTL 核心标签库标签 2、避免SQL注入 3、字符串逆转方法 4、字符串比较compareTo 5、字符串替换replace 6、分拆字符串 1、JSTL 核心标签库标签共有13个，学习资料：http://www.cnblogs.com/lihuiyy/archive/2012/02/24/2366806.html 功能上分为4类： (1)表达式控制标签：out
[物理与电子]半导体教材的一个小问题 comsci 问题
各种模拟电子和数字电子教材中都有这个词汇-空穴书中对这个词汇的解释是; 当电子脱离共价键的束缚成为自由电子之后,共价键中就留下一个空位,这个空位叫做空穴我现在回过头翻大学时候的教材,觉得这个
Flashback Database --闪回数据库 daizj oracle 闪回数据库
Flashback 技术是以Undo segment中的内容为基础的，因此受限于UNDO_RETENTON参数。要使用flashback 的特性，必须启用自动撤销管理表空间。在Oracle 10g中， Flash back家族分为以下成员： Flashback Database， Flashback Drop，Flashback Query(分Flashback Query,Flashbac
简单排序:插入排序 dieslrae 插入排序
public void insertSort(int[] array){ int temp; for(int i=1;i<array.length;i++){ temp = array[i]; for(int k=i-1;k>=0;k--)
C语言学习六指针小示例、一维数组名含义，定义一个函数输出数组的内容 dcj3sjt126com c
# include <stdio.h> int main(void) { int * p; //等价于 int *p 也等价于 int* p; int i = 5; char ch = 'A'; //p = 5; //error //p = &ch; //error //p = ch; //error p = &i; //
centos下php redis扩展的安装配置3种方法 dcj3sjt126com redis
方法一 1.下载php redis扩展包代码如下复制代码 #wget http://redis.googlecode.com/files/redis-2.4.4.tar.gz 2 tar -zxvf 解压压缩包，cd /扩展包（进入扩展包然后运行phpize 一下是我环境中phpize的目录，/usr/local/php/bin/phpize (一定要
线程池(Executors) shuizhaosi888 线程池
在java类库中，任务执行的主要抽象不是Thread，而是Executor，将任务的提交过程和执行过程解耦 public interface Executor { void execute(Runnable command); } public class RunMain implements Executor{ @Override pub
openstack 快速安装笔记 haoningabc openstack
前提是要配置好yum源版本icehouse，操作系统redhat6.5 最简化安装，不要cinder和swift 三个节点 172 control节点keystone glance horizon 173 compute节点nova 173 network节点neutron control /etc/sysctl.conf net.ipv4.ip_forward =
从c面向对象的实现理解c++的对象（二） jimmee C++面向对象虚函数
1. 类就可以看作一个struct，类的方法，可以理解为通过函数指针的方式实现的，类对象分配内存时，只分配成员变量的，函数指针并不需要分配额外的内存保存地址。 2. c++中类的构造函数，就是进行内存分配(malloc)，调用构造函数 3. c++中类的析构函数，就时回收内存(free) 4. c++是基于栈和全局数据分配内存的，如果是一个方法内创建的对象，就直接在栈上分配内存了。专门在
如何让那个一个div可以拖动 lingfeng520240 html
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml
第10章高级事件（中） onestopweb 事件
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
计算两个经纬度之间的距离 roadrunners 计算纬度 LBS 经度距离
要解决这个问题的时候，到网上查了很多方案，最后计算出来的都与百度计算出来的有出入。下面这个公式计算出来的距离和百度计算出来的距离是一致的。 /** * * @param longitudeA * 经度A点 * @param latitudeA * 纬度A点 * @param longitudeB *
最具争议的10个Java话题 tomcat_oracle java
1、Java8已经到来。什么！？ Java8 支持lambda。哇哦，RIP Scala！　　随着Java8 的发布，出现很多关于新发布的Java8是否有潜力干掉Scala的争论，最终的结论是远远没有那么简单。Java8可能已经在Scala的lambda的包围中突围，但Java并非是函数式编程王位的真正觊觎者。　　2、Java 9 即将到来　　 Oracle早在8月份就发布
zoj 3826 Hierarchical Notation(模拟) 阿尔萨斯 rar
题目链接：zoj 3826 Hierarchical Notation 题目大意：给定一些结构体，结构体有value值和key值，Q次询问，输出每个key值对应的value值。解题思路：思路很简单，写个类词法的递归函数，每次将key值映射成一个hash值，用map映射每个key的value起始终止位置，预处理完了查询就很简单了。这题是最后10分钟出的，因为没有考虑value为{}的情