李宏毅老师机器学习笔记day02

P2：regression - case study

1：以预测宝可梦进化后的cp值(战斗力)为例。

step1: model

建立一个set of function，里面包含各种预测方法，例如y=b+W*Xcp (b和W为参数)

类似y=b+W*Xcp这样，能携程y=b+ΣWiXi格式的model称之为线性模型（linear model ）

b—>bias  偏差

Wi—>weight   权重

Xi—>特征

step2：goodness of function

第一步：收集training data（训练数据）

第二步：定义一个loss function  L，input是model中的一个function，output是一个数值，表示这个function有多么不好。

             L(f)=L(b,w)，所以，loss function的本质是衡量一组参数的好坏。

             L(f)=L(b,w)=   loss function一般用平方误差的和表示。

step3:pick the 'best' function

求最小的L(f)，用于确定w和b。

step4:gradient descent(梯度下降)

dl/dw表示loss function的微分。 -η代表学习效率(learning rate)，是指从w0移动的步长。

local optimal 局部最优  not global optimal  非全局最优。在linear regression中，没有局部最优。

两个参数的梯度下降，通过对应偏微分分别更新参数。

gradient(梯度)：w对L的偏微分和d对L的偏微分的vector(向量).

formulation(公式化)

计算误差值average error，幂越高，training data的errors越小，而testing data则未必，仅在某一特定次幂时最小。

overfitting(过度拟合)：更复杂的模型在testing data上无法拿到好的结果。

当数据量变大时可以轻易发现，宝可梦cp值受其他因素的影响，分析影响因素为宝可梦种类。进而重新寻找model。

regularization(正则化)：影响因素过多，导致模型中参数变多时，容易造成overfitting。