EM和PCA和LDA和Ensemble Learning

EM

• 琴生不等式Jensen Inequality

参考下图黑洞传送门

• MLE最大似然估计

1. 一个数据集出现了，我们就最大化这个数据集的似然概率。
2. 数据集中每个点都是独立出现的，因此可以概率连乘。
3. 求得使得似然概率最大（当前数据集出现的估计概率）的参数。

• MLE的对数累加形式

4. log是凹函数，因此
   $$log(E(x))\ge E(log(x))$$
   1. 简便记忆法，log(累加)>=累加log
   2. 等号成立: 随机变量是常数
      

• 最大化下界

• EM 步骤
  

无监督的降维：PCA

• 数据矩阵中心化
• 投影到例如某几个轴上，$w_1,w_2,w_3.......w_i$

1. 如何投影？
   $$w_k^T{x}_i$$

• 使得方差 最大化： 一般信息方差大于噪声！
  $$\frac{1}{n}\sum _{i=1}^N||w_i^T{x}_i|{|}^2$$
  $$max\frac{1}{n}\sum _{i=1}^N{w}_k^T{x}_i{x}_i^T{w}_k$$
  假设 $X=[x_1{x}_2{x}_3.....x_n]$，其中 $x_i$是$M\times 1$维数据向量
  $$max\frac{1}{n}{w}_k^{T}X{X}^T{w}_{k}s.t.||w_k||=1$$
  对称矩阵，必定半正定，上式存在最大值
  reference
  

拉格朗日来了：
$$max{w}_k^{T}X{X}^T{w}_{k}s.t.||w_k||=1$$
==>
$$L(w_k)=w_k^{T}X{X}^T{w}_k+\lambda (1-w_k^T{w}_k)$$
求导=0
$$\frac{\partial L(w_k)}{\partial w_k}=2X{X}^T{w}_k-2\lambda w_k=0$$
$$\frac{{\partial }^{2}L(w_k)}{\partial w_k^2}=2X^{T}X-2\lambda \le 0$$

发现：
$$X{X}^T{w}_k=\lambda w_k$$
结论:
往特征值最大的轴上投影最佳

有监督的降维：LDA

1. 投影后，不同类之间，类中心相互离得越远越好。Between Class Seaparability
2. 投影后，类内方差越小越好，所有的方差之和越小越好. Within Variance
3. 两类的LDA：
   $$\min J(w)=\min \frac{(m_2-m_1{)}^2}{s_1^{\mathrm{２}}+s_2^2}$$
   

Ensemble Learning

• RF随机森林：Boostrapping自助法/bagging

1. 分类：投票 / 回归：平均
2. 有放回地抽样样本，当做森林里某颗树的数据集
3. 对这颗树，每次随机抽取d个特征作为特征集合，按照决策树增益标准分支。
4. 自由生长，不要停止或者限制
5. 随机森林创造者本人的主页
6. 误差与树之间的correlation有关，大的correlation导致大的误差
7. 个体树效果越好的话，整体误差会低，整体strength大
8. 并行
   
   

• AdaBoost

1. 串行 boosting
2. 代价函数是指数函数.
   $$L_i=\exp (-y_{i}H(x))$$
3. 子分类器的权重由错误率得出
4. 加大错误分类的权重，减小分对的样本权重

图的reference

• Dropout

1. 一般见于神经网络，防止过拟合
2. 机制只工作在训练中，前向传播和后向传播中， p表示正常运作的概率，通过多重伯努利分布选择。
3. “集成”学习
4. Dropout论文