AI数学基础（2）——数学期望、方差和最小二乘法

数学期望、方差和最小二乘法

一、数学期望

数学期望简称期望，说白了就是平均值。

1、离散型

2、连续型

二、方差

也称均方误差，说白了就是考察值与期望（平均值）的偏离程度。

三、最小二乘法

在线程回归中：

f(X_i) = WX _i+ b，通过训练输入X，得到参数W和b，如何确定W和b呢？关键在于衡量f(x)与y的差别，均方误差是线性回归中最常用的性能度量，因此我们可试图让均方误差最小化。

记f(X_i)为预测值，y_i为真实值，那么均方误差为：

均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧 氏距离”（Euclidean distance)。基于均方误差最小化来进行模型求解的方法称 为“最小二乘法”（least square method).在线性回归中，最小二乘法就是试图 找到一条直线，使所有样本到直线上的欧氏距离之和最小