机器学习知识总结系列-机器学习中的数学-概率与数理统计（1-3-1）

目录

1.概率与统计

1.1 机器学习与概率统计之间的关系

1.什么是概率问题和统计问题

• 概率问题：已知数据的整体分布，然后求取抽样数据的概率。
• 统计问题：是概率问题的逆过程，即已知抽样数据的概率，求数据的整体分布。

2.监督学习----概率统计

• 训练过程：统计的过程
• 预测过程：概率的过程

3.机器学习与概率统计的关系

• 统计估计的是一个分布，机器学习训练出来的是一个模型，模型可以包含多个分布。
• 训练和预测的核心评价指标是模型的误差，误差本身可以为概率的形式
• 对误差的不同定义方式可以转换为对不同损失函数的定义。
• 机器学习是概率与统计的进阶版本（不严谨的说法）

1.2 重要的统计量

1.2.1 期望

1.离散型：E(x) = ${\sum }_i{x}_i{p}_i$
2.连续型：E(x) = ${\int }_{-}^{+}xf(x)d_x$
期望可以理解为数据加权下的平均值
3.性质

• 无条件成立：E(kx) = kE(x) E(x + y) = E(x) + E(y)
• 如果x,y为相互独立：E(XY) = E(X) E(Y)

独立：P(AB) = P(A)*P(B)
互斥：P(AB) = 0 P(A+B) = P(A) + P(B)

若：E(XY) = E(X)E(Y)只能说明X和Y不相关。

1.2.2 方差

1.定义：
var(x) = $E(x-E(x){)}^2=E(x^2)-E^2(x)$

2.性质

• 无条件成立：
  • $var(c)=0$
  • $var(x+c)=var(c)$
  • $var(kx)=k^{2}var(x)$
• 当x和y相互独立的时候：
  $var(x+y)=var(x)+var(y)$

方差的平方根称为标准差

方差可以理解为整体数据偏移平均值的一个程度。

1.2.3 协方差，相关系数

协方差

1.定义：
cov(x,y) = E{[x-E(x)]*[y-E(y)]}

从定义可以看出，协方差是从方差定义扩张而来的，方差只针对的单变量，而协方差则考量的是2个变量之间的关系。

x和y如果是离散的变量，则x和y的维度必须相等。

2.性质

• 无条件成立：
  • $cov(x,y)=cov(y,x)对称性$
  • $cov(ax+b,cy+d)=accov(x,y)$
  • $cov(x_1+x_2,y)=cov(x_1,y)+cov(x_2,y)$
  • $cov(x,y)=E(xy)-E(x)\ast E(y)$
• 当x,y相互独立的时候：cov(x,y)=0

cov(x,y)=0 只能得出变量x,y是不相关，无法得出独立的结论

3.意义：
协方差可以度量两个变量具在相同方向上的变化趋势。

• 如果cov(x,y) > 0: x,y的变化趋势相同
• 如果cov(x,y) < 0: x,y的变化趋势相反
• 如果cov(x,y) > 0: x,y不相关

可以使用协方差来衡量特征和特征，特征和标签之间的相关性，即可以基于协方差来进行特征的筛选。
协方差只能用于衡量2个变量之间的相关性，衡量多个变量之间的相关性需要协方差矩阵。

4.协方差的上界
如果：$var(x)={\theta }_1^2$ $var(y)={\theta }_2^2$ 则：|cov(x,y) $\le {\theta }_1\ast {\theta }_2$|

5.协方差矩阵：
对于n个随机变量{$x_1,x_2,....,x_n$},任意两个元素$x_i,x_j$都可以得到一个协方差，从而形成一个n*n的矩阵，其中协方差矩阵是对称阵。

相关系数

1.peason相关系数

• 定义：$P_{x,y}=cov(x,y)/\sqrt{(}var(x)\ast var(y))$
• 性质：
  • 由协方差的上界可知：|P|$\le$1
  • 当且仅当x,y线性相关时，等号成立
  • 相关系数是标准尺度下的协方差。上面关于协方差的性质也适用于相关系数。
  • 相关系数取值在（0,1）之间，越接近1则说明两变量的相关性越大，越接近0则说明相关性越低。（线性相关）。

2.相关系数矩阵（可画出热图）
对多个变量两两之间求取相关系数，并组成矩阵，则为相关系数矩阵

• 相关系数矩阵可以发现特征之间的相关性
• 协方差矩阵归一化后便可以得到相关系数矩阵
• 实际中使用较多的是相关系数矩阵而非协方差矩阵，因为协方差矩阵取值范围较大，表现不明显
• 使用相关系数矩阵的目的是为了进行特征的选择。
• 负相关也是相关。当两个特征向量之间的相关系数为1，则可以去除其中的某一个。

3.独立和不相关

• 一般指的不相关指的是线性独立
• 如果x,y不相关，则x,y没有线性关系，但是可以有其他函数关系。

1.2.4 矩

1.定义：对于随机变量X，X的K阶原点矩为：$E(X^K)$
X的K阶中心矩为：$E[X-E(X){]}^K$
从上面给出的矩的定义，我们可以看出期望是一阶原点矩 ， 方差是二阶中心距

• 变异系数：标准差和均值的比值为变异系数
• 偏度(skewness):三阶矩
• 峰度（kurtosis）:四阶矩

1.3 重要的定理与不等式

1.jenson不等式（函数f凸函数）

• 基本jenson不等式定义：
  $f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$

2.如果：${\theta }_1,{\theta }_2,...,{\theta }_k\ge 0$ 且 ${\theta }_1+{\theta }_2+...+{\theta }_k=1$ 则：$f({\theta }_1{x}_1+...+{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+...+{\theta }_{k}f(x_k)$

2.切比雪夫不等式

度量两个变量之间的距离方法有很多，但是要满足一些条件。同时，也可以度量两个分布之间的距离，即度量两个分布之间的相关性，这个对于机器学习是非常有用的，常常可以作为损失函数。

• 定义：设随机变量X的期望为u ,方差为${\theta }^2$，对于任意的正数$\xi$，有：$P(|X-u|\le \xi )\le {\theta }^2/{\xi }^2$
• 意义：切比雪夫不等式说明，X的方差越小，事件$(|X-u|\le \xi )$的发生概率越大。
• 该不等式证明了方差的意义。
• 该不等式可以证明大数定理。

3.大数定理

• 定义：设随机变量$x_1,x_2,...,x_n$相互独立，并且具有相同的期望u和方差${\theta }^2$，取前K个随机变量，且该K个随机变量的期望为$Y_n=1/k{\sum }_{i=1}^k{x}_i$,则有：$li{m}_{n->\propto }p(|Y_n-u|<\xi )=1$
• 意义：当样本的数目足够大时，样本的期望逼近于整体的期望，这是统计方法的基石。
  4.中心极限定理
• 定义：设随机变量$x_1,x_2,...,x_n$相互独立，且服从同一分布，具有相同的期望u和方差${\theta }^2$，则有：$Y_n={\sum }_{i=1}^n(x_i-n\ast u)/(\sqrt{(}n)\ast \theta )$
• 意义：实际问题中，很多随机变量现象可以看成很多独立影响的综合反应，且这些独立因素服从正太分布。

1.4 用样本估计参数

1.矩估计

• 基本思想：首先假设整体的满足某个分布，其中给分布中有n个未知的参数。然后，由样本求出n对中心距和原点矩，接着由假设的分布公式求出这n对中心距和原点矩，通过等式关系，解出这n个参数，得出整体的分布。

该方法的计算量比较大，在实践过程中用的比较少。常用于两个分布相关性的比较。

2.最大似然估计

• 贝叶斯公式：$P(D/A)=(P(A/D)\ast P(A))/P(D)$
• 物理意义：公式中D为样本数据，A为模型参数或者随机事件。则$P(D/A)$表示A在数据D上的后验概率，P(A/D)为A在数据D上的条件概率，P(A)为A的先验概率

• 发生过的概率就是最大的
• 设问题A中的模型有3个：$m_1,m_2,m_3$，抽取的样本数为K：$x_1,x_2,...,x_k$，设3个模型的分布为：$f(m_1),f(m_2),f(m_3)$，则已将抽取样本的概率为$P={\sum }_{i=1}^k{f}_i(m_1)\ast f_i(m_2)\ast f_i(m_3)$，然后求概率P最大时对应的参数既可以求出整体的分布。