李宏毅机器学习笔记

2018.10.09开始看李宏毅的机器学习课,把重要的笔记记下来

  • 各种模型之间的关系

李宏毅机器学习笔记_第1张图片

 

10月10日

  • 为什么要使用Regulation

李宏毅机器学习笔记_第2张图片

正则项目的:使目标函数尽可能的平滑,尽量使Wi小一点

                      Wi小的比较好(因为输入值有很大变化,对输出的影响相对没有那么大)

                      λ越大,函数越平滑

                      但是λ太大了,就太平滑,不能正确拟合函数了

                      正则项不考虑b, 因为b对函数的平滑程度没有影响

 

10月11日

bias VS variance

李宏毅机器学习笔记_第3张图片

bias: 样本点平均离中心远近

variance: 样本点有多散

variance 大 overfitting  增加data, 正则化
bias 大 underfitting  修正model(增加data没用的)

 

10.12

Adagrad: 考虑前面每一步的梯度,全局学习率逐参数的除以历史梯度平方和的平方根,使得每个参数的学习率不同

李宏毅机器学习笔记_第4张图片       李宏毅机器学习笔记_第5张图片

 

10 .17

 Probabilistic Generative Model

找出一个分布,最有可能选出目前已有的数据

李宏毅机器学习笔记_第6张图片         李宏毅机器学习笔记_第7张图片

 

你可能感兴趣的:(Deep,learning)