深度学习与图像识别：机器学习基础之回归

1.线性回归

1.1一元线性回归

1.2多元线性回归

2.逻辑回归

与线性回归的不同在于其将最终预测值y固定在一个范围之中

2.1 Sigmoid函数

sigmoid函数表达式：

 p为预测出来的概率，范围在0-1之间，一般用于处理二分类问题，因为这个式子的一个显著特征在于：

当z=0,p=0.5

当z>0,p>0.5

当z<0,p<0.5

所以当对z进行多元线性回归表示的时候，以p的值来反映y_pre是一个不错的选择，此处的y_pre一般分为两类（0,1）这时候更适用于sigmoid函数

但由于Sigmoid函数存在梯度消失（Gradient Vanishing）和不以0对称的问题，所以基本很少用了。替代者是Tanh 和 Relu，以Relu最常用。

3.梯度下降法

梯度下降法是一种常用的最优化方法之一，其作用在于对多元回归的权重theta进行优化，找到最适合的值，关键在于，找到损失函数图像，对变量求导，不断调整theta，使得损失函数的值最小