xia ge tou lia

多元统计分析——数据降维——Fisher线性判别分析（LDA）

一、LDA的思想

Fisher线性判别分析(Fisher's Linear Discriminant Analysis, 以下简称LDA)是一种有监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。这点和PCA不同。PCA是不考虑样本类别输出的无监督降维技术。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。通俗理解就是：将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大，如下图所示。

只所以称为线性判别分析，其实是因为其最早用在分类当中：判别分析是寻找一种“分类规则”，即利用变量的函数（判别函数）来描述（解释）两组或多组之间的区别。

例如对于银行来说，最重要的是判断申请者是否能够成功还款，以此作为是否给其贷款的依据。判别分析即利用历史数据（成功还款和未偿还贷款），通过两类人的一些有区别的特征（年龄、收入等），找到一个“最优”的规则区分这两类人。

二、二类LDA原理

1、原理

上面我们已经知道，Fisher线性判别分析的思想是寻找两个群体“最好”的线性判别法则，来最大限度的区分两个群体。从几何角度上理解，其实也就是找到一个最佳的投影线（定义为），使其在该投影线上的投影最大限度的分开，对于该投影线，我们只要找到其方向就可以了。如下图所示：

我们假设有两个群体，总体均值向量 $\mu _{1}\neq \mu _{2}$ ，但具有相同的协防差矩阵 $\Sigma$ 。

从中抽取两个随机样本：

第一个维样本 $y_{11}......y_{1n}$ 的样本均值向量为 $\overline{y}_{1}$ ，则样本的协方差矩阵为 $\frac{\Sigma }{n_{1}}$ 。

第二个维样本 $y_{21}......y_{2n}$ 的样本均值向量为 $\overline{y}_{2}$ ，则样本的协方差矩阵为 $\frac{\Sigma }{n_{2}}$ 。

类似于两样本的检验，我们比较两个群体，只要比较两个群体的均值即可。这里也是，我们只要使得原始均值向量 $\overline{y}_{1},\overline{y}_{2}$ 在上的投影距离最大（下图黄线的长度）即可。

由线性代数我们知道：如果为单位向量，即为在方向上的投影向量长度。则 $\overline{y}_{1}$ 在方向上的投影向量长度我们可以表示为： $\overline{Z}_{1}={a}'\overline{y}_{1}$ ， $\overline{y}_{2}$ 在方向上的投影向量长度表示为： $\overline{Z}_{2}={a}'\overline{y}_{2}$ ，两投影的距离为 $d=\overline{Z}_{1}-\overline{Z}_{2}={a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ ，即我们的目的：找到一个，使得 $d=\overline{Z}_{1}-\overline{Z}_{2}={a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ 最大。

上面 $d=\overline{Z}_{1}-\overline{Z}_{2}={a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ ，我们衡量的是欧式距离，我们知道欧式距离的缺陷在于：1、欧式距离易受变量不同量纲的影响；2、没有考虑变量之间的相关性。

关于欧式距离和马氏距离的区别可参考：《多元统计分析——欧式距离和马氏距离》

我们知道：马氏距离即是我们将向量“标准化”过后的欧式距离，如何标准化，即乘上向量其自身的协防差矩阵的逆的矩阵根。

${a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ 的协方差矩阵 $cov(a'(\overline{y_{1}}-\overline{y_{2}})) =[a'(\overline{y_{1}}-\overline{y_{2}})][a'(\overline{y_{1}}-\overline{y_{2}})]'=a'(\overline{y_{1}}-\overline{y_{2}})(\overline{y_{1}}-\overline{y_{2}})'a$ 。

其中 $(\overline{y_{1}}-\overline{y_{2}})(\overline{y_{1}}-\overline{y_{2}})'=cov(\overline{y_{1}}-\overline{y_{2}})=\frac{\Sigma }{n_{1}}+\frac{\Sigma }{n_{2}}=\Sigma(\frac{1 }{n_{1}}+\frac{1}{n_{2}})$ ，由上面的假设我们已知两总体是具有相同的协方差矩阵 $\Sigma$ ，借助检验中的“两均值之差的方差等于两均值方差的之和”的思想，我们知道多元统计分析同样具有这样的性质： $cov(\overline{y_{1}}-\overline{y_{2}})=cov(\overline{y_{1}})+cov(\overline{y_{2}})=\frac{\Sigma }{n_{1}}+\frac{\Sigma }{n_{2}}$ 。

将 $(\overline{y_{1}}-\overline{y_{2}})(\overline{y_{1}}-\overline{y_{2}})=\Sigma(\frac{1 }{n_{1}}+\frac{1}{n_{2}})$ 代入到 $a'(\overline{y_{1}}-\overline{y_{2}})(\overline{y_{1}}-\overline{y_{2}})'a$ ，可得 ${a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ 的协方差矩阵 $cov(a'(\overline{y_{1}}-\overline{y_{2}}))=a'\Sigma(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a=(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a'\Sigma a$ 。

则 ${a}'\overline{y}_{1}-{a}'\overline{y}_{2}$ “标准化过后”的马氏距离为： $[(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a'\Sigma a]^{-\frac{1}{2}}[{a}'\overline{y}_{1}-{a}'\overline{y}_{2}]$ ，化简得 $\frac{{a}'(\overline{y}_{1}-\overline{y}_{2})}{\sqrt{(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a'\Sigma a}}$ 。

总体的协方差矩阵 $\Sigma$ 我们一般是未知的，我们一般以样本的协方差矩阵 $S_{pl}$ 代替，得 $\frac{{a}'(\overline{y}_{1}-\overline{y}_{2})}{\sqrt{(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a'S_{pl} a}}$

为了避免负数的出现，我们对马氏距离加上一个平方，则投影后马氏距离的平方，我们定义成 $t^{2}(a)$ ：

$t^{2}(a)=\frac{[{a}'(\overline{y}_{1}-\overline{y}_{2})]^{2}}{(\frac{1 }{n_{1}}+\frac{1}{n_{2}})a'S_{pl} a}\propto \frac{[{a}'(\overline{y}_{1}-\overline{y}_{2})]^{2}}{a'S_{pl} a}$

Fisher线性判别分析的思想即为找到一个使得 $t^{2}(a)$ 最大，由于 $\frac{1 }{n_{1}}+\frac{1}{n_{2}}$ 对 $t^{2}(a)$ 求极值无影响，可去掉。

2、利用柯西不等式求最大值

由上面我们已知：寻找两个群体“最好”的线性判别法则问题转换为求 $t^{2}(a)\propto \frac{[{a}'(\overline{y}_{1}-\overline{y}_{2})]^{2}}{a'S_{pl} a}$ 极值得问题。

我们知道柯西不等式的一般表示式为： $(a'b)^{2}\leq (a'a)(b'b)$ ，当时取等。

我们令 $a=W^{\frac{1}{2}}a$ ， $b=W^{-\frac{1}{2}}b$ ，则不等式左边变成： $[(W^{\frac{1}{2}}a)'(W^{-\frac{1}{2}}b)]^{2}=[a'(W^{\frac{1}{2}})'W^{-\frac{1}{2}}b]^{2}=(a'b)^{2}$ ，不等式右边变成 $[(W^{\frac{1}{2}}a)'W^{\frac{1}{2}}a][(W^{-\frac{1}{2}}b)'W^{-\frac{1}{2}}b]=[a'(W^{\frac{1}{2}})'W^{\frac{1}{2}}a][b'(W^{-\frac{1}{2}})'W^{-\frac{1}{2}}b]=(a'Wa)(b'W^{-1}b)$ ，组成变形后的柯西不等式为： $(a'b)^{2}\leq(a'Wa)(b'W^{-1}b)$ ，当 $W^{\frac{1}{2}}a=W^{-\frac{1}{2}}b$ 时取等。

$(a'b)^{2}\leq(a'Wa)(b'W^{-1}b)$ 可继续变形为 $\frac{(a'b)^{2}}{a'Wa}\leq b'W^{-1}b$ ，取等条件可以变形为： $a=W^{-\frac{1}{2}}W^{-\frac{1}{2}}b=W^{-1}b$ 。

关于柯西不等式可参考：《线性代数——柯西不等式》

参考柯西不等式： $\frac{(a'b)^{2}}{a'Wa}\leq b'W^{-1}b$ ， $a=W^{-1}b$ 时取等，我们可以求 $t^{2}(a)\propto \frac{[{a}'(\overline{y}_{1}-\overline{y}_{2})]^{2}}{a'S_{pl} a}$ 的极值条件，即为 $a=S_{pl}^{-1}(\overline{y}_{1}-\overline{y}_{2})$ 时， $t^{2}(a)$ 取最大值。

其中， $a=S_{pl}^{-1}(\overline{y}_{1}-\overline{y}_{2})$ 被称为判别函数系数，被称为Fisher判别函数。

3、案例

有两个样本数据，有两个维度进行刻画，已知第一个样本 $\overline{y}_{1}=\begin{pmatrix} 36.4\\ 62.6 \end{pmatrix}$ ，第二个样本 $\overline{y}_{2}=\begin{pmatrix} 39.0\\ 60.4 \end{pmatrix}$ ，协方差矩阵 $S_{pl}=\begin{pmatrix} 7.92 & 5.68\\ 5.68 & 6.29 \end{pmatrix}$ ，样本数据分布如下：

如果这些点投影到 $y_{1}$ 轴或者 $y_{2}$ 轴，会有较大的重叠，在单个维度上，我们可以用检验进行检验：

$y_{1}$ 轴上： $t_{1}=\frac{\overline{y}_{11}-\overline{y}_{21}}{\sqrt{s_{11}(1/n_{1}+1/n_{2})}}=\frac{36.4-39.0}{\sqrt{7.92(1/5+1/7)}}=-1.58$

$y_{2}$ 轴上： $t_{2}=\frac{\overline{y}_{12}-\overline{y}_{22}}{\sqrt{s_{22}(1/n_{1}+1/n_{2})}}=\frac{62.6-60.4}{\sqrt{6.29(1/5+1/7)}}=1.48$

双侧检验 $t_{\alpha /2}(10)=2.23$ （显著性水平 $\alpha =0.05$ ），即两样本在单个维度上的差别不显著。

但是，我们还是可以很好的将其分开，如下图：

利用上面知识，可计算出判别函数系数 $a=S_{pl}^{-1}(\overline{y}_{1}-\overline{y}_{2})=\begin{pmatrix} -1.633\\ 1.820 \end{pmatrix}$ ，判别函数 $Z=a'y=-1.6333Y_{1}+1.820Y_{2}$ 。

其中 $Y_{1}$ 和 $Y_{2}$ 分别代表了样本两个维度的数据，我们将原始数据代入到判别函数，算出来的即为降维过后的数据（点在上的投影坐标），即实现了原来二维的数据降到一维。

注意： $Z=a'y=-1.6333Y_{1}+1.820Y_{2}$ 中，系数代表每个变量对区分规则的贡献，如果变量的量级差别较大，我们可以先进行标准化处理再进行判别分析。

三、多类LDA原理

1、原理

现有个群体 $G_{k}$ ，，第个群体样本为 $y_{k1},......,y_{kn_{k}}$ ，其中 $n_{k}$ 代表第第个群体的样本容量，第个群体的样本均值为 $\overline{y}_{k}$ ，所有群体的样本均值为 $\overline{y}=\frac{1}{g}\sum ^{g}_{k=1}\overline{y}_{k}$ 。

借助简单统计学中的方差分析的思想：

如果各个群体均数相等，的数值不会太大（在1的左右不会太远）。相反，如果的数值过大，“各个群体均数相等”这个假设就值得怀疑了。

关于方差分析可参考：《统计推断——假设检验——方差分析》

而LDA的思想可以用一句话概括，就是“经过投影后组内方差最小，组间方差最大”，当然这个就可能有多个了。

组间平方和为：

$SSG=\sum ^{g}_{k=1}n_{k}(a'\overline{y}_{k}-a'\overline{y})^{2}=a'[\sum ^{g}_{k=1}n_{k}(\overline{y}_{k}-\overline{y})'(\overline{y}_{k}-\overline{y})]a$ ，我们令 $\sum ^{g}_{k=1}n_{k}(\overline{y}_{k}-\overline{y})'(\overline{y}_{k}-\overline{y})=B$ ，得到：

，代表原始样本数据的组间方差矩阵。

组内平方和为：

$SSE=\sum ^{g}_{k=1}\sum ^{n_{k}}_{i=1}(a'y_{ki}-a'\overline{y}_{k})^{2}=a'[\sum ^{g}_{k=1}\sum ^{n_{k}}_{i=1}(y_{ki}-\overline{y}_{k})'(y_{ki}-\overline{y}_{k})]a$ ，我们令 $\sum ^{g}_{k=1}\sum ^{n_{k}}_{i=1}(y_{ki}-\overline{y}_{k})'(y_{ki}-\overline{y}_{k})=W$ ，得到：

，代表原始样本数据的组内方差矩阵。

则 $F=\frac{SSG/g-1}{SSE/n-g}=\frac{n-g}{g-1}\cdot \frac{a'Ba}{a'Wa}$ ，如果组均值有显著差异，则数值充分大。

$\frac{n-g}{g-1}$ 对求极值无影响，则可以去掉，故我们应求令 $\frac{a'Ba}{a'Wa}$ 最大化时的值。

$\frac{a'Ba}{a'Wa}$ 这一表达在数学物理中被称为广义瑞利熵，关于广义瑞利熵的概念和应用大家可以自己查阅相关资料。我们这边直接应用性质进行 $\frac{a'Ba}{a'Wa}$ 最大化的求解。

最大化瑞利熵的必要条件是：存在一个向量使得 $Ba=\lambda Wa$ ，稍微变形一下： $W^{-1}Ba=\lambda a$ ，这个正好就是我们对特征值和特征向量的定义一致，即 $\lambda$ 是方阵 $W^{-1}B$ 的特征值，为方阵 $W^{-1}B$ 以 $\lambda$ 为特征值对应的特征向量。即求数值得最大化问题转换为求 $W^{-1}B$ 的特征根问题。

2、LDA算法流程

以下是LDA算法的大致流程：

计算组间方差矩阵 $B=\sum ^{g}_{k=1}n_{k}(\overline{y}_{k}-\overline{y})'(\overline{y}_{k}-\overline{y})$ ；
计算组内方差矩阵 $W=\sum ^{g}_{k=1}\sum ^{n_{k}}_{i=1}(y_{ki}-\overline{y}_{k})'(y_{ki}-\overline{y}_{k})$ ；
计算矩阵 $W^{-1}B$ ；
计算 $W^{-1}B$ 的特征值 $\lambda _{1}$ ， $\lambda _{2}$ ，....， $\lambda _{s}$ 以及对应的特征向量 $e_{1}$ ， $e_{2}$ ，...， $e_{s}$ 。
将特征值 $\lambda _{1}$ ， $\lambda _{2}$ ，....， $\lambda _{s}$ 按照从大到小的顺序排列，选择非零特征值及对应的特征向量（ $s\leq min(g-1,p)$ ，代表组数，代表样本数据维度，如原始数据是3个组群，5个维度的数据，则非零特征值最多为2个），注意：非零特征值的意思是抛弃无限接近0的特征值，可通过特征值的占比来筛选特征值。
将样本投影到新的空间，即得到了LDA降维后的结果。
***计算Fisher判别函数： $Z={a}'Y={e_{s}}'Y$ ，其中根据数据维度可分解为 $\left [ y_{1},y_{2},...,y_{p} \right ]$ ，注意：输出的判别函数即为分类的规则，有多少个特征向量 $e_{s}$ ，就有多少个判别式****。

注意：1、上面第四步所说的非零特征值其实是特征值无限接近0的特征值，即特征值占总特征值之和的占比很小。

2、第七步中计算Fisher判别函数，是多元统计分析用于刻画分类规则而产生的，如果单纯为了实现降维，可跳过这一步。

3、案例

科考人员从加利福尼亚的砂岩中收集了原油样本。这些原油分别来自三类地层（3个类别）中的一类：

现试图基于砂岩中五种化学成分含量（5个维度），找到一种划分地层类别的方法

数据样本如下：

使用pairplot()函数可以画全局图，即两两变量之间的分布关系。

对角线的分布图，单从各个维度上看，各组的数据都有较大的重叠，即从单一维度上，无法较好的区分数据。

使用LDA算法降维过程：

step1：计算组间方差矩阵 $B=\sum ^{g}_{k=1}n_{k}(\overline{y}_{k}-\overline{y})'(\overline{y}_{k}-\overline{y})$ 。

#租的标签
clusters=np.unique(data['label'])

#组间协方差矩阵
B = np.zeros((data.shape[1]-1,data.shape[1]-1)) #构造一个和原始数据特征维度一样的方阵B
y_hat = data.iloc[:,:-1].mean(0)  #所有样本的平均值
for i in clusters:
    Ni = data[data['label'] == i].iloc[:,:-1].shape[0]  #各个样本的样本数
    ui = data[data['label'] == i].iloc[:,:-1].mean(0)  #某个类别的平均值
    SBi = Ni*np.dot(np.mat(ui - y_hat).T,np.mat(ui - y_hat))
    B += SBi
B

输出：

array([[ 7.82102934e+01, -4.51200260e+02,  7.66358682e+00,
        -4.46707730e+01, -7.10295522e+01],
       [-4.51200260e+02,  2.65873662e+03, -4.31571861e+01,
         2.50295766e+02,  4.89521636e+02],
       [ 7.66358682e+00, -4.31571861e+01,  7.70884752e-01,
        -4.51741260e+00, -5.45103771e+00],
       [-4.46707730e+01,  2.50295766e+02, -4.51741260e+00,
         2.65002117e+01,  2.99625104e+01],
       [-7.10295522e+01,  4.89521636e+02, -5.45103771e+00,
         2.99625104e+01,  1.78617620e+02]])

step2：计算组内方差矩阵 $W=\sum ^{g}_{k=1}\sum ^{n_{k}}_{i=1}(y_{ki}-\overline{y}_{k})'(y_{ki}-\overline{y}_{k})$ 。

#组内协方差矩阵
W = np.zeros((data.shape[1]-1,data.shape[1]-1))  #构造一个和原始数据特征维度一样的方阵W
for i in clusters:
    data_i=data[data['label'] == i]
    data_i=data_i.iloc[:,:-1]
    y_i_hat=data_i.mean(0)     #组内平均值 
    for i in range(data_i.shape[0]): 
        data_i_k = data_i.iloc[i,:]
        Swi = np.dot(np.mat(data_i_k-y_i_hat).T,np.mat(data_i_k-y_i_hat))  
        W += Swi
W

输出：

array([[ 9.19015584e+01,  1.02800260e+02, -2.87254978e+00,
         1.48740260e+00,  3.66821818e+01],
       [ 1.02800260e+02,  1.73134338e+03,  9.67186147e-01,
         6.24842338e+01,  8.55836364e+00],
       [-2.87254978e+00,  9.67186147e-01,  1.43065599e+00,
         2.92030519e+00, -1.33146970e+00],
       [ 1.48740260e+00,  6.24842338e+01,  2.92030519e+00,
         2.45342623e+01,  1.56760636e+01],
       [ 3.66821818e+01,  8.55836364e+00, -1.33146970e+00,
         1.56760636e+01,  1.71479255e+02]])

step3：计算矩阵 $W^{-1}B$ 。

S = np.dot(np.linalg.inv(W),B) 
S

输出：

array([[ 1.82516012e+00, -1.07591870e+01,  1.74495236e-01,
        -1.01190860e+00, -1.98628881e+00],
       [-2.80144016e-01,  1.70631002e+00, -2.57448644e-02,
         1.48018421e-01,  3.83404462e-01],
       [ 1.41480726e+01, -7.79818659e+01,  1.45518636e+00,
        -8.56489218e+00, -7.64169791e+00],
       [-2.62000045e+00,  1.37399432e+01, -2.82742831e-01,
         1.67932992e+00,  4.11969952e-01],
       [-4.41300084e-01,  3.20954366e+00, -3.06844034e-02,
         1.63783970e-01,  1.35039633e+00]])

step4：计算 $W^{-1}B$ 的特征值 $\lambda _{1}$ ， $\lambda _{2}$ ，....， $\lambda _{s}$ 以及对应的特征向量 $e_{1}$ ， $e_{2}$ ，...， $e_{s}$ 。

eigVals,eigVects = np.linalg.eig(S)  #求特征值，特征向量
eigpairs = [(np.abs(eigVals[i]), eigVects[:,i]) for i in range(len(eigVals))]  #将特征值和对应的特征向量绑定成一个元祖。
eigpairs

输出：

[(6.736305722392899,
  array([ 0.12841268+0.j, -0.01991815+0.j,  0.97486544+0.j, -0.17787167+0.j,
         -0.03335415+0.j])),
 (6.245004513516506e-17,
  array([-0.30577419+0.j, -0.01618153+0.j,  0.9340433 +0.j, -0.18296885+0.j,
         -0.01805021+0.j])),
 (1.2800770307908278,
  array([ 0.03545112+0.j, -0.01766616+0.j, -0.93249504+0.j,  0.32884656+0.j,
         -0.14402803+0.j])),
 (3.782695793427638e-16,
  array([ 0.20869023-0.05456166j,  0.02924344-0.02887822j,
          0.93259111+0.j        ,  0.24577484+0.14294114j,
         -0.0099238 +0.03346897j])),
 (3.782695793427638e-16,
  array([ 0.20869023+0.05456166j,  0.02924344+0.02887822j,
          0.93259111-0.j        ,  0.24577484-0.14294114j,
         -0.0099238 -0.03346897j]))]

step5：将特征值 $\lambda _{1}$ ， $\lambda _{2}$ ，....， $\lambda _{s}$ 按照从大到小的顺序排列，选择非零特征值及对应的特征向量（ $s\leq min(g-1,p)$ ，代表组数，代表样本数据维度，如原始数据是3个组群，5个维度的数据，则非零特征值最多为2个），注意：非零特征值的意思是抛弃无限接近0的特征值，可通过特征值的占比来筛选特征值。

eigpairs = sorted(eigpairs, key=lambda k: k[0], reverse=True) # 根据特征值降序排序
eigpairs

输出：

[(6.736305722392899,
  array([ 0.12841268+0.j, -0.01991815+0.j,  0.97486544+0.j, -0.17787167+0.j,
         -0.03335415+0.j])),
 (1.2800770307908278,
  array([ 0.03545112+0.j, -0.01766616+0.j, -0.93249504+0.j,  0.32884656+0.j,
         -0.14402803+0.j])),
 (3.782695793427638e-16,
  array([ 0.20869023-0.05456166j,  0.02924344-0.02887822j,
          0.93259111+0.j        ,  0.24577484+0.14294114j,
         -0.0099238 +0.03346897j])),
 (3.782695793427638e-16,
  array([ 0.20869023+0.05456166j,  0.02924344+0.02887822j,
          0.93259111-0.j        ,  0.24577484-0.14294114j,
         -0.0099238 -0.03346897j])),
 (6.245004513516506e-17,
  array([-0.30577419+0.j, -0.01618153+0.j,  0.9340433 +0.j, -0.18296885+0.j,
         -0.01805021+0.j]))]

计算特征值占比：

# 通过特征值的比例来筛选特征值
for i,j in enumerate(eigpairs):
    print('eigVal%s: %f' %(i+1, (j[0]/eigVals.sum())))

输出：

eigVal1: 0.840317
eigVal2: 0.159683
eigVal3: 0.000000
eigVal4: 0.000000
eigVal5: 0.000000

筛选特征向量组成映射矩阵：

#选择非零特征值对应的特征向量作为映射矩阵Z
Z= np.vstack((eigpairs[0][1], eigpairs[1][1])).T
Z

输出：

array([[ 0.12841268+0.j,  0.03545112+0.j],
       [-0.01991815+0.j, -0.01766616+0.j],
       [ 0.97486544+0.j, -0.93249504+0.j],
       [-0.17787167+0.j,  0.32884656+0.j],
       [-0.03335415+0.j, -0.14402803+0.j]])

step6：将样本投影到新的空间，即得到了LDA降维后的结果，降维后为2维特征。

data_=np.dot(np.mat(data.iloc[:,:-1]),Z)
data_

输出：

matrix([[-1.98240436+0.j, -0.38325885+0.j],
        [-2.23895967+0.j, -0.24869691+0.j],
        [-1.68704195+0.j, -0.142058  +0.j],
        [-2.13486186+0.j, -0.26578783+0.j],
        [-2.17974478+0.j, -0.03259639+0.j],
        [-1.74667874+0.j, -0.13214131+0.j],
        [-1.55953271+0.j, -0.13844398+0.j],
        [-1.68508356+0.j,  0.72475706+0.j],
        [-1.1974488 +0.j,  0.60711313+0.j],
        [-1.17539724+0.j,  1.19866906+0.j],
        [-0.46583313+0.j,  1.35188424+0.j],
        [-1.50070354+0.j,  1.37555728+0.j],
        [-0.75650544+0.j,  0.6157262 +0.j],
        [-1.31782703+0.j,  0.74866093+0.j],
        [-1.32474307+0.j,  1.14561945+0.j],
        [-1.26497509+0.j,  0.19023476+0.j],
        [-1.816251  +0.j,  0.92796843+0.j],
        [-1.48223369+0.j, -0.29111897+0.j],
        [ 0.00748193+0.j, -0.26936795+0.j],
        [-0.08522769+0.j,  0.23168825+0.j],
        [-0.41231509+0.j,  0.83135552+0.j],
        [ 0.23014115+0.j, -0.0957719 +0.j],
        [ 0.02054684+0.j,  0.06162732+0.j],
        [ 0.48231118+0.j,  0.17544311+0.j],
        [ 0.11349465+0.j,  0.32497595+0.j],
        [-0.11256643+0.j,  0.03207345+0.j],
        [ 0.46192225+0.j, -0.2352691 +0.j]])

降维后的数据可视化：

data_=pd.DataFrame(data_)
data_['label']=data['label']
plt.scatter(data_[0],data_[1],c=data['label'],cmap='rainbow')

输出：

step7：计算Fisher判别函数： $Z={a}'Y={e_{s}}'Y$ ，其中根据数据维度可分解为 $\left [ y_{1},y_{2},...,y_{p} \right ]$ ，注意：输出的判别函数即为分类的规则，有多少个特征向量 $e_{s}$ ，就有多少个判别式。

本案例的降维之后的2维数据，第一维度可用判别式 $Z_{1}=0.1284y_{1}-0.0199y_{2}+0.9748y_{3}-0.1778y_{4}-0.0333y_{5}$ 表示，第二维度可用判别式 $Z_{2}= 0.0354y_{1}-0.0176y_{2}-0.9324y_{3} +0.3288y_{4} -0.1440y_{5}$ 表示。

五、LDA与PCA的联系和区别

LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

1、相同点：

两者均可以对数据进行降维。
两者在降维时均使用了矩阵特征分解的思想。
两者都假设数据符合高斯分布。

2、不同点：

LDA是有监督的降维方法，而PCA是无监督的降维方法（可以理解为LDA寻求的是两个或多个群体之间距离最大化的线性组合，而PCA中只有一个群体，目标是找到能使这个群体中个体之间分得最开的变量组合）。
LDA降维最多降到类别数的维数，所以当数据维度很高，但是类别数少的时候，算法并不适用。而PCA没有这个限制。
LDA除了可以用于降维，还可以用于分类。
LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

　　　　这点可以从下图形象的看出，在某些数据分布下LDA比PCA降维较优。

我们知道：LCA是选组间变异最大的投影方向（可理解为每组均值的变异），而PCA选择样本点投影具有最大方差的方向。如上图左图，均值相隔较远，则LCA降维之后的效果优于PCA；右图，均值相隔很近，则LDA降维之后的效果不如PCA。

3、LDA算法主要优点：

在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。
LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。

4、LDA算法主要缺点：

LDA不适合对非高斯分布样本进行降维，PCA也有这个问题。
LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。目前有一些LDA的进化版算法可以绕过这个问题。
LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好。
LDA可能过度拟合数据。

你可能感兴趣的:(数据降维,机器学习,多元统计分析)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能 easyui 前端 python
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能 langchain python
LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
【机器学习与R语言】1-机器学习简介苹果酱0567 面试题汇总与解析 java 中间件开发语言 spring boot 后端
1.基本概念机器学习：发明算法将数据转化为智能行为数据挖掘VS机器学习：前者侧重寻找有价值的信息，后者侧重执行已知的任务。后者是前者的先期准备过程：数据——>抽象化——>一般化。或者：收集数据——推理数据——归纳数据——发现规律抽象化：训练：用一个特定模型来拟合数据集的过程用方程来拟合观测的数据：观测现象——数据呈现——模型建立。通过不同的格式来把信息概念化一般化：一般化：将抽象化的知识转换成可用
Python前沿技术：机器学习与人工智能 4.0啊 Python 人工智能 python 机器学习
Python前沿技术：机器学习与人工智能一、引言随着科技的飞速发展，机器学习和人工智能（AI）已经成为了计算机科学领域的热门话题。Python作为一门易学易用且功能强大的编程语言，已经成为了这两个领域的首选语言之一。本文将深入探讨Python在机器学习和人工智能领域的应用，以及一些前沿技术和工具。二、Python机器学习基础2.1机器学习概述机器学习是人工智能（AI）的一个关键子集，它的核心在于让
chatgpt赋能python：如何在Python中计算平均值 tulingtest ChatGpt python chatgpt numpy 计算机
如何在Python中计算平均值计算平均值是数据分析、统计和机器学习等许多领域中的常见任务。Python作为一门功能强大且易于学习的编程语言，为计算平均值提供了多种方法。在本文中，我们将介绍如何在Python中计算平均值。什么是平均值简单来说，平均值是一组数字的总和除以数字的数量。例如，对于数字序列1，3，5，7，9，平均值是(1+3+5+7+9)/5=5。平均值在数据分析中非常有用，因为它可以提供
Python 初学者入门必知： Anaconda是什么？有什么作用？怎么使用？懒大王爱吃狼 Python基础 python 开发语言 python基础 python学习 anaconda anaconda安装 python教程
初学者在学习Python时，经常看到的一个名字是Anaconda。究竟什么是Anaconda，为什么它如此受欢迎？在这篇文章中，我们将探讨Anaconda，了解Anaconda的从安装到使用的。Anaconda是一个免费开源的Python和R编程发行版，包含上千个适用于数据科学和机器学习的包。同时，配备了Spyder和Jupyternotebook等工具，初学者可以使用它们来学习Python，使用
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
第五届核磁机器学习班（训练营：2023.6.5~6.17）茗创科技
茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
xml解析小猪猪08 xml
1、DOM解析的步奏准备工作： 1.创建DocumentBuilderFactory的对象 2.创建DocumentBuilder对象 3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件 4.通过Document的getElem
每个开发人员都需要了解的一个SQL技巧 brotherlamp linux linux视频 linux教程 linux自学 linux资料
对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books ( id &
Quartz——CronTrigger触发器 eksliang quartz CronTrigger
转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。二.Cron表达式介绍 1）Cron表达式规则表 Quartz
Informatica基础 18289753290 Informatica Monitor manager workflow Designer
1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository Manager：
linux下为程序创建启动和关闭的的sh文件，scrapyd为例酷的飞上天空 scrapy
对于一些未提供service管理的程序每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件下面以scrapy启动server为例，文件名为run.sh： #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
人--自私与无私永夜-极光
今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么? 从客观的角度来看,人有自私的行为,也有无私的
Ubuntu安装NS-3 环境脚本随便小屋 ubuntu
将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令： sudo ./ns3environment.sh >>result 这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示 com
创业的简单感受 aijuans 创业的简单感受
2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。以一个普通的银行柜员
JSP基础百合不是茶 jsp 注释隐式对象
1,JSP语句的声明 <%! 声明 %> 　　声明：这个就是提供java代码声明变量、方法等的场所。表达式 <%= 表达式 %> 　　这个相当于赋值，可以在页面上显示表达式的结果，程序代码段/小型指令　<% 程序代码片段 %> 2,JSP的注释
web.xml之session-config、mime-mapping bijian1013 java web.xml servlet session-config mime-mapping
session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。 mime-mapping 1.定义： <mime-m
互联网开放平台（1） Bill_chen 互联网 qq 新浪微博百度腾讯
现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
索引可以在任意列上建立索引索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能内嵌文档照样可以建立使用索引测试数据 var p1 = { "name":"Jack", "age&q
JDBC常用API之外的总结白糖_ jdbc
做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。 ResultSetMetaData获取ResultSet对象的元数据信息
apache VelocityEngine使用记录 bozch VelocityEngine
VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。使用方法如下： VelocityEngine engine = new VelocityEngine();// 定义模板引擎 Properties properties = new Properties();// 模板引擎属
编程之美-快速找出故障机器 bylijinnan 编程之美
package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
关于Java中redirect与forward的区别 chenbowen00 java servlet
在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
[信号与系统]人体最关键的两个信号节点 comsci 系统
如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做百汇穴, 另外一个节点在腰部,中医的名称叫做命门如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
oracle 存储过程执行权限 daizj oracle 存储过程权限执行者调用者
在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc IS fla
为mysql数据库建立索引 dengkane mysql 性能索引
前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
学习C语言常见误区如何看懂一个程序如何掌握一个程序以及几个小题目示例 dcj3sjt126com c 算法
如果看懂一个程序，分三步 1、流程 2、每个语句的功能 3、试数如何学习一些小算法的程序尝试自己去编程解决它，大部分人都自己无法解决如果解决不了就看答案关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义照着答案去敲调试错误
centos6.3安装php5.4报错 dcj3sjt126com centos6
报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
JSONP请求 flyer0126 jsonp
使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
Spring Security（03）——核心类简介 234390216 Authentication
核心类简介目录 1.1 Authentication 1.2 SecurityContextHolder 1.3 AuthenticationManager和AuthenticationProvider 1.3.1 &nb
在CentOS上部署JAVA服务 java--hhf java jdk centos Java服务
本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version 结果如下 java version "1.6.0"
oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oracle mysql SQL Server
oracle &n
记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocol WWDC 2015 Swift2.0
其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭，把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
（一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
ORACLE数据库SCN和时间的互相转换 tomcat_oracle oracle sql
SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换；　　用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了；　　操作方法：　　1、通过dbms_f
Spring MVC 方法注解拦截器 xp9802 spring mvc
应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理先看一个实例,使用@access_required拦截： ?