机器学习之回归分析

一、回归分析的应用

1、股票分析

2、无人驾驶

3、推荐系统

回归分析的应用

二、实例应用

评估pokemon（宝可梦）进化后的Combat Power（CP）

1、Step 1：Model（建立模型）

1）线性函数（模型）集，y = b + w * x

2）Linear-Model（线性模型）

3）x是输入标量（可以多个，称为feature），w是x的权重，b是函数的偏置，y是输出标量

建立模型

2、Step 2：Goodness of Function（衡量模型）

1）Training Data（训练数据），10个宝可梦的原始CP值和进化后的CP值，用来训练模型

训练数据

2）Loss Function（损失函数），模型的损失函数定义如下

宝可梦模型损失函数

衡量模型

b和w对Loss Function值的影响

3、Step 3：Best Function（找到最好的函数）

把所有Training Data里面的x代入w和b决定的函数式，计算Loss Function的值，找到使得Loss Function输出最小的那个函数就是最好的函数

如何找到最好的函数

4、Step 3：Gradient Desent（梯度下降）

1）考虑一个参数w的情况，随机选取一个初始的值w0

2）计算w = w0时，w对L的导数

a、如果w对L的导数小于0，即切线斜率小于0，则增加w的值

b、如果w对L的导数大于0，即切线斜率大于0，则减少w的值

梯度下降对参数增加或减少的指引

3）Learning Rate（学习率），记作η

a、w参数更新幅度取决于η和w = w0时，w对y的导数值

b、η比较大，则参数w更新的速度较快，学习的速度较快，反之亦然。学习率就是这么来的

4）经过一定量的w更新，L会处于一个局部比较低的位置，而且不能继续更新，因为w对y的导数在此处等于0

w参数更新L的变化

5）两个参数以上的情况

a、随机选取两个初始值，w0和b0

b、计算w = w0时，w对L的导数；计算b = b0时，b对L的导数

c、分别根据学习率η更新w和b

d、重复b和c步骤

多个参数的梯度下降过程

6）梯度下降视图化过程

梯度下降视图化

7）最终定义

w对L和b对L的导数计算

5、结果

a、计算模型计算和训练数据的总误差

训练数据总误差

b、计算模型计算和Testing Data（测试数据）的总误差

测试数据总误差