机器学习知识总结系列-机器学习中的数学-概率与数理统计(1-3-1)

文章目录

  • 目录
    • 1.概率与统计
      • 1.1 机器学习与概率统计之间的关系
      • 1.2 重要的统计量
        • 1.2.1 期望
        • 1.2.2 方差
        • 1.2.3 协方差,相关系数
          • 协方差
          • 相关系数
        • 1.2.4 矩
      • 1.3 重要的定理与不等式
      • 1.4 用样本估计参数

目录

1.概率与统计

1.1 机器学习与概率统计之间的关系

1.什么是概率问题和统计问题

  • 概率问题:已知数据的整体分布,然后求取抽样数据的概率。
  • 统计问题:是概率问题的逆过程,即已知抽样数据的概率,求数据的整体分布。

2.监督学习----概率统计

  • 训练过程:统计的过程
  • 预测过程:概率的过程

3.机器学习与概率统计的关系

  • 统计估计的是一个分布,机器学习训练出来的是一个模型,模型可以包含多个分布。
  • 训练和预测的核心评价指标是模型的误差,误差本身可以为概率的形式
  • 对误差的不同定义方式可以转换为对不同损失函数的定义。
  • 机器学习是概率与统计的进阶版本(不严谨的说法)

1.2 重要的统计量

1.2.1 期望

1.离散型:E(x) = ∑ i x i p i \sum_{i}x_ip_i ixipi
2.连续型:E(x) = ∫ − + x f ( x ) d x \int _-^+xf(x)d_x +xf(x)dx
期望可以理解为数据加权下的平均值
3.性质

  • 无条件成立:E(kx) = kE(x) E(x + y) = E(x) + E(y)
  • 如果x,y为相互独立:E(XY) = E(X) E(Y)

独立:P(AB) = P(A)*P(B)
互斥:P(AB) = 0 P(A+B) = P(A) + P(B)

若:E(XY) = E(X)E(Y)只能说明X和Y不相关。

1.2.2 方差

1.定义:
var(x) = E ( x − E ( x ) ) 2 = E ( x 2 ) − E 2 ( x ) E{(x - E(x))^2}=E(x^2)-E^2(x) E(xE(x))2=E(x2)E2(x)

2.性质

  • 无条件成立:
    • v a r ( c ) = 0 var(c) = 0 var(c)=0
    • v a r ( x + c ) = v a r ( c ) var(x+c) = var(c) var(x+c)=var(c)
    • v a r ( k x ) = k 2 v a r ( x ) var(kx) = k^2var(x) var(kx)=k2var(x)
  • 当x和y相互独立的时候:
    v a r ( x + y ) = v a r ( x ) + v a r ( y ) var(x+y) = var(x) + var(y) var(x+y)=var(x)+var(y)

方差的平方根称为标准差

方差可以理解为整体数据偏移平均值的一个程度。

1.2.3 协方差,相关系数

协方差

1.定义:
cov(x,y) = E{[x-E(x)]*[y-E(y)]}

从定义可以看出,协方差是从方差定义扩张而来的,方差只针对的单变量,而协方差则考量的是2个变量之间的关系。

x和y如果是离散的变量,则x和y的维度必须相等。

2.性质

  • 无条件成立:
    • c o v ( x , y ) = c o v ( y , x ) 对 称 性 cov(x,y) = cov(y,x) 对称性 cov(x,y)=cov(y,x)
    • c o v ( a x + b , c y + d ) = a c c o v ( x , y ) cov(ax+b , cy+d) = accov(x,y) cov(ax+b,cy+d)=accov(x,y)
    • c o v ( x 1 + x 2 , y ) = c o v ( x 1 , y ) + c o v ( x 2 , y ) cov(x_1+x_2,y) = cov(x_1,y) + cov(x_2,y) cov(x1+x2,y)=cov(x1,y)+cov(x2,y)
    • c o v ( x , y ) = E ( x y ) − E ( x ) ∗ E ( y ) cov(x,y) = E(xy) - E(x)*E(y) cov(x,y)=E(xy)E(x)E(y)
  • 当x,y相互独立的时候:cov(x,y)=0

cov(x,y)=0 只能得出变量x,y是不相关,无法得出独立的结论

3.意义:
协方差可以度量两个变量具在相同方向上的变化趋势。

  • 如果cov(x,y) > 0: x,y的变化趋势相同
  • 如果cov(x,y) < 0: x,y的变化趋势相反
  • 如果cov(x,y) > 0: x,y不相关

可以使用协方差来衡量特征和特征,特征和标签之间的相关性,即可以基于协方差来进行特征的筛选。
协方差只能用于衡量2个变量之间的相关性,衡量多个变量之间的相关性需要协方差矩阵。

4.协方差的上界
如果: v a r ( x ) = θ 1 2 var(x) = \theta_1^2 var(x)=θ12 v a r ( y ) = θ 2 2 var(y) = \theta_2^2 var(y)=θ22 则:|cov(x,y) ≤ θ 1 ∗ θ 2 \le\theta_1*\theta_2 θ1θ2|

5.协方差矩阵:
对于n个随机变量{ x 1 , x 2 , . . . . , x n x_1,x_2,....,x_n x1,x2,....,xn},任意两个元素 x i , x j x_i , x_j xi,xj都可以得到一个协方差,从而形成一个n*n的矩阵,其中协方差矩阵是对称阵。

相关系数

1.peason相关系数

  • 定义: P x , y = c o v ( x , y ) / ( v a r ( x ) ∗ v a r ( y ) ) P_{x,y}=cov(x,y)/\sqrt(var(x)*var(y)) Px,y=cov(x,y)/( var(x)var(y))
  • 性质:
    • 由协方差的上界可知:|P|$\le$1
    • 当且仅当x,y线性相关时,等号成立
    • 相关系数是标准尺度下的协方差。上面关于协方差的性质也适用于相关系数。
    • 相关系数取值在(0,1)之间,越接近1则说明两变量的相关性越大,越接近0则说明相关性越低。(线性相关)。

2.相关系数矩阵(可画出热图)
对多个变量两两之间求取相关系数,并组成矩阵,则为相关系数矩阵

  • 相关系数矩阵可以发现特征之间的相关性
  • 协方差矩阵归一化后便可以得到相关系数矩阵
  • 实际中使用较多的是相关系数矩阵而非协方差矩阵,因为协方差矩阵取值范围较大,表现不明显
  • 使用相关系数矩阵的目的是为了进行特征的选择。
  • 负相关也是相关。当两个特征向量之间的相关系数为1,则可以去除其中的某一个。

3.独立和不相关

  • 一般指的不相关指的是线性独立
  • 如果x,y不相关,则x,y没有线性关系,但是可以有其他函数关系。

1.2.4 矩

1.定义:对于随机变量X,X的K阶原点矩为: E ( X K ) E(X^K) E(XK)
X的K阶中心矩为: E [ X − E ( X ) ] K E[X-E(X)]^K E[XE(X)]K
从上面给出的矩的定义,我们可以看出期望是一阶原点矩 , 方差是二阶中心距

  • 变异系数:标准差和均值的比值为变异系数
  • 偏度(skewness):三阶矩
  • 峰度(kurtosis):四阶矩

1.3 重要的定理与不等式

1.jenson不等式(函数f凸函数)

  • 基本jenson不等式定义:
    f ( θ x + ( 1 − θ ) y ) ≤ θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x + (1-\theta)y)\le\theta f(x) + (1-\theta)f(y) f(θx+(1θ)y)θf(x)+(1θ)f(y)

2.如果: θ 1 , θ 2 , . . . , θ k ≥ 0 \theta _1,\theta_2,...,\theta_k \ge0 θ1,θ2,...,θk0 θ 1 + θ 2 + . . . + θ k = 1 \theta_1+\theta_2+...+\theta_k=1 θ1+θ2+...+θk=1 则: f ( θ 1 x 1 + . . . + θ k x k ) ≤ θ 1 f ( x 1 ) + . . . + θ k f ( x k ) f(\theta_1x_1 + ...+\theta_kx_k) \le\theta_1f(x_1)+...+\theta_kf(x_k) f(θ1x1+...+θkxk)θ1f(x1)+...+θkf(xk)

2.切比雪夫不等式

度量两个变量之间的距离方法有很多,但是要满足一些条件。同时,也可以度量两个分布之间的距离,即度量两个分布之间的相关性,这个对于机器学习是非常有用的,常常可以作为损失函数。

  • 定义:设随机变量X的期望为u ,方差为 θ 2 \theta^2 θ2,对于任意的正数 ξ \xi ξ,有: P ( ∣ X − u ∣ ≤ ξ ) ≤ θ 2 / ξ 2 P(|X-u|\le\xi)\le\theta^2/\xi^2 P(Xuξ)θ2/ξ2
  • 意义:切比雪夫不等式说明,X的方差越小,事件 ( ∣ X − u ∣ ≤ ξ ) (|X-u|\le\xi) (Xuξ)的发生概率越大。
  • 该不等式证明了方差的意义。
  • 该不等式可以证明大数定理。

3.大数定理

  • 定义:设随机变量 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn相互独立,并且具有相同的期望u和方差 θ 2 \theta^2 θ2,取前K个随机变量,且该K个随机变量的期望为 Y n = 1 / k ∑ i = 1 k x i Y_n = 1/k\sum_{i=1}^kx_i Yn=1/ki=1kxi,则有: l i m n − > ∝ p ( ∣ Y n − u ∣ < ξ ) = 1 lim_{n->\propto}p(|Y_n - u| < \xi)=1 limn>p(Ynu<ξ)=1
  • 意义:当样本的数目足够大时,样本的期望逼近于整体的期望,这是统计方法的基石。
    4.中心极限定理
  • 定义:设随机变量 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn相互独立,且服从同一分布,具有相同的期望u和方差 θ 2 \theta^2 θ2,则有: Y n = ∑ i = 1 n ( x i − n ∗ u ) / ( ( n ) ∗ θ ) Y_n=\sum_{i=1}^n(x_i-n*u)/(\sqrt(n)*\theta) Yn=i=1n(xinu)/(( n)θ)
  • 意义:实际问题中,很多随机变量现象可以看成很多独立影响的综合反应,且这些独立因素服从正太分布。

1.4 用样本估计参数

1.矩估计

  • 基本思想:首先假设整体的满足某个分布,其中给分布中有n个未知的参数。然后,由样本求出n对中心距和原点矩,接着由假设的分布公式求出这n对中心距和原点矩,通过等式关系,解出这n个参数,得出整体的分布。

该方法的计算量比较大,在实践过程中用的比较少。常用于两个分布相关性的比较。

2.最大似然估计

  • 贝叶斯公式: P ( D / A ) = ( P ( A / D ) ∗ P ( A ) ) / P ( D ) P(D/A) = (P(A/D)*P(A))/P(D) P(D/A)=(P(A/D)P(A))/P(D)
  • 物理意义:公式中D为样本数据,A为模型参数或者随机事件。则 P ( D / A ) P(D/A) P(D/A)表示A在数据D上的后验概率,P(A/D)为A在数据D上的条件概率,P(A)为A的先验概率
  • 发生过的概率就是最大的
  • 设问题A中的模型有3个: m 1 , m 2 , m 3 m_1,m_2,m_3 m1,m2,m3,抽取的样本数为K: x 1 , x 2 , . . . , x k x_1,x_2,...,x_k x1,x2,...,xk,设3个模型的分布为: f ( m 1 ) , f ( m 2 ) , f ( m 3 ) f(m_1),f(m_2),f(m_3) f(m1),f(m2),f(m3),则已将抽取样本的概率为 P = ∑ i = 1 k f i ( m 1 ) ∗ f i ( m 2 ) ∗ f i ( m 3 ) P=\sum_{i=1}^kf_i(m_1)*f_i(m_2)*f_i(m_3) P=i=1kfi(m1)fi(m2)fi(m3),然后求概率P最大时对应的参数既可以求出整体的分布。

你可能感兴趣的:(ML&DL-总结性文章)