如何使得损失函数最小?:随机梯度下降法
举例子说明什么是随机梯度下降法?如何计算?
假设只有一个参数w时
假设只有两个参数w,b时
考虑到一个问题:在linear model中,没有局部最优,所以可以放心的随机选取初始值w,b
测试误差
看上图可能会觉得拟合不是很好,会想到增加项来使得拟合更好?
可以看到随着增加项,训练误差和测试误差都在递减,那么继续增加
可以看到继续增加项,模型越来越复杂,训练误差在递减,但是测试误差反而增大了,也就是过拟合
上述例子中输入只有宝可梦的原始CP值,假设输入涉及更多的属性呢?
那么又要返回第一步重新设计模型,但模型太复杂,会产生过拟合
如何解决过拟合的问题呢?引入正则化
最后的结果如图,我们可以选择 = 100
构造模型
利用损失函数去判断模型的好坏
用梯度下降法去获得使函数最好的参数
模型越复杂,训练误差越小,但是会导致过拟合
考虑其他特征因素,重新构造模型,容易产生过拟合
使用正则化来解决过拟合:弱化权重系数,使得函数更加平滑
宝可梦数据
作业地址
Kaggle比赛地址
机器学习笔记_李宏毅_P4-Basic Concept_error的来源
作业范例