动手学机器学习-李沐(4)

1、线性回归

动手学机器学习-李沐(4)_第1张图片

 2、线性模型

输入:给定n维输入,乘以n维权重和一个标量偏差

输出:加权和

动手学机器学习-李沐(4)_第2张图片

 3、开始神经网络

动手学机器学习-李沐(4)_第3张图片

 4、补充:平方损失:

动手学机器学习-李沐(4)_第4张图片

 5、总结:

显示解:显示解就是可以用数学方法算出来的表达式解 

动手学机器学习-李沐(4)_第5张图片

 6、对没有显示解的时候就要运用梯度下降的算法

        不断更新W0使其更对的接近最优解

        右上为二次函数等高图(每个圈是函数值等于固定值的曲线)

        补:一个数的正梯度是其上升最快的方向,反之负梯度是其下降最快的方向

动手学机器学习-李沐(4)_第6张图片

 7、学习率的选择(不能太小也不能太大)

动手学机器学习-李沐(4)_第7张图片

 8、一般不会直接使用梯度下降,深度学习中最常用的是:小批量随机梯度下降

        求一次梯度相当于将整个函数再重新算一遍(太贵了,计算代价太大了)

动手学机器学习-李沐(4)_第8张图片

 9、选择批量大小也不能太大或者太小

动手学机器学习-李沐(4)_第9张图片

10、总结

动手学机器学习-李沐(4)_第10张图片

 

你可能感兴趣的:(机器学习,人工智能,深度学习)