机器学习中的数理统计与参数估计

概率统计与机器学习的关系

概率问题是已知整体的情况下判定样本（整体推个体）

统计问题是概率问题的逆向工程（个体推整体）

机器学习监督学习中，首先根据样本及样本标签训练出模型（个体推整体），再根据模型对样本标签进行预测（整体推个体）。

• 统计估计的是分布，机器学习训练出来的是模型，模型可能包含了很多分布。
• 训练与预测过程的一个核心评价指标就是模型的误差。
• 误差本身就可以是概率的形式，与概率紧密相关。
• 对误差的不同定义方式就演化成了不同损失函数的定义方式。
• 机器学习是概率与统计的进阶版本。（不严谨的说法）

重要的统计量

• 期望
• 方差
• 矩
• 协方差、相关系数

协方差应用到机器学习中

协方差是两个随机变量具有相同方向变化趋势的度量
- 若Cov(X,Y)>0，它们的变化趋势相同；
- 若Cov(X,Y)<0，它们的变化趋势相反；
- 若Cov(X,Y)=0，X和Y不相关；
若X为样本的某一特征，Y为样本标签，可根据特征与标签的协方差特性来筛选特征，如样本的颜色与质量是不相关的，其协方差为0，在训练模型来预测质量时可筛除颜色特征。

对于n个随机变量（X1,X2,……Xn）,任意两个特征都可以得到一个协方差，从而形成n*n的矩阵，即协方差矩阵，协方差矩阵为对称矩阵。同样的任意两个特征都可以计算相关系数，从而形成相关系数矩阵。协方差矩阵与相关系数矩阵都可以发现特征之间的相关性。

若X1，X2是线性关系时，则X2=aX1+b，那么X1与X2可以相互表示，那么X1和X2只保留其中一个即可，特征之间的相关性越大相关系数绝对值越大，因此可以通过相关系数矩阵来筛选特征。

用样本估计参数

1. 矩估计

矩估计法, 也称“矩法估计”，就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体的方差.

1. 极大似然估计
   
   在实践中，由于求导的需要，往往将似然函数取对数，得到对数似然函数；若对数似然函数可导，可对Θ求偏导，通过使偏导为0求对数似然函数的驻点，然后分析该驻点是否为极大值点。