机器学习——梯度下降法的应用

 

1 线性回归

  目标属性与已知属性（已知属性的变形或已知属性的组合）存在一种线性关系。
$$h(x)=X\theta$$
$$X={\left[\begin{array}{cccccc}1& x_1^1& x_2^1& \dots & x_{n-1}^1& x_n^1\\ 1& x_1^2& x_2^2& \dots & x_{n-1}^2& x_n^2\\ 1& x_1^3& x_2^3& \dots & x_{n-1}^3& x_n^3\\ \dots & \dots & \dots & \dots & \dots & \dots \\ \dots & \dots & \dots & \dots & \dots & \dots \end{array}\right]}_{m\times (n+1)}\theta ={\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ \dots \\ {\theta }_n\end{array}\right]}_{1\times (n+1)}$$
  上标：m表示样本容量。下标：n表示特征数。
  第一列是额外添加的

1.1 代价函数

  采用 “均方误差” 来度量模型性能
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)}{)}^2$$
  $J$越小，表示预测值与实际值的差值越小。而$J$为$\theta$的函数，所以当$J$最小时，$\theta$的值就是模型的最优值。

1.2 梯度函数

  要使以上代价函数最小，一种最常用的方法就是梯度下降法。
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
  上式中 $\alpha$ 表示学习率，并且要注意一点就是式中的 $\theta$ 是同时更新的，就是说下一次得到的 $\theta$ 完全是由这次 $\theta$ 运算得到的（尤其是求导部分）。

  对于线性回归来讲，该导数可以具体表示为
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})x_j^{(i)}$$

1.2.1 特征缩放

  如果特征之间的取值范围相差过大，这时就需要对特征进行缩放。通常采取的缩放形式如下：（$\mu$可以取平均值，$s$可以取标准差）
$$\frac{x_i-\mu }{s}$$
  缩放的程度通常如下表所示：

可以接受的范围	不可接受的范围
$-1<x<1$	$-100<x<100$
$0<x<3$	$-0.001<x<0.0001$
$-2<x<0.5$	$50<x<1000$

1.2.2 学习率

  学习率 $\alpha$ 太小，可能导致梯度下降算法收敛的非常慢；学习率 $\alpha$ 太大，又可能导致梯度下降算法在某几次迭代时不下降，反而增加，甚至不能收敛。
  为了选择出合适的学习率，可以画出 $J(\theta )$ 随迭代步数变化的曲线。一般是先用小值比如0.001试一下，再逐渐增大，当找到一个的可行的最小值和一个最大值，就取比最大值小一点的数值。

2 逻辑回归与分类

  对于分类问题，输出变量都是离散值，一般而言都会用1、0来表示是、否。而预测的输出通常不会被约束在0、1这两个值上，所以就需要对输出应用一个函数，使值域变为（0,1），并以此来估计 $y=1$ 的概率。这个函数就是sigmoid函数（或logistic函数）：
$$g(z)=\frac{1}{1+e^{-z}}$$

  这样预测的输出就变为：（这里用 ${\theta }^{T}x$ 来形成决策边界）
$$h(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

2.1 代价函数与梯度

  所采用的代价函数就是：
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\sum _{i=1}^{m}Cost(h(x^{(i)}),y^{(i)})\\ & =\frac{1}{m}\left[\sum _{i=1}^m\right(-y^{(i)}\log h_{\theta }(x^{(i)})-(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]\end{array}$$
  这里最小化代价函数的方法还是采用梯度
$$\begin{array}{rl}{\theta }_j& :={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )\\ & :={\theta }_j-\alpha \sum _{i=1}^m(h(x^{(i)})-y^{(i)})x_j^{(i)}\end{array}$$
  没错，和前面线性回归的梯度函数在形式上是一样的，唯一的不同点就是 $h(x)$ 的不同。

2.2 多元分类

  可以将其看作是多个二元分类问题。
  例如，现在有一个含有3类的数据，如下图所示。

  我们可以针对图中的每一类为其生成一个分类器 $a_1,a_2,a_3$（$a_1$表示是三角的概率，以此类推）。然后将要测试的数据代入每个分类器，选择值最大的分类器类别作为预测的类别。

3 正则化

  在以上的线性回归和逻辑回归中，数据的拟合通常会存在3种情况：

• 欠拟合，也称之为高偏差
• 刚好拟合
• 过拟合，也称之为高方差

  针对过拟合问题，通常会采用以下2种思路进行解决：

1. 通过人工的选择，减少变量的个数
2. 正则化，在保留所有特征量的情况下，减少特征量的量级

3.1 线性回归的正则化

  需要对其代价函数添加一个正则项：
$$J(\theta )=\frac{1}{2m}\left(\sum _{i=1}^m\right(h(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2)$$
   $\lambda$ 就是正则化参数。注意：这里不需要 ${\theta }_0$ 正则化，因为其是一个常数项。
  其梯度函数也要进行相应的变化：（注意需要将 ${\theta }_0$ 分离出来）
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})x_0^{(i)} \\ {\theta }_j:={\theta }_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m\right(h(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j] \end{gathered}$$

3.2 逻辑回归的正则化

  逻辑回归的正则化与线性回归的类似，也是在代价函数的最后添加一个正则项：
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\left[\sum _{i=1}^m\right(-y^{(i)}\log h_{\theta }(x^{(i)})-(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2\end{array}$$
  同样的，这里也不需要对 ${\theta }_0$ 正则化，其梯度函数变为：
$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h(x^{(i)})-y^{(i)})x_0^{(i)} \\ {\theta }_j:={\theta }_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m\right(h(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}{\theta }_j] \end{gathered}$$
  没错，这个梯度函数与线性回归梯度函数在形式上也是一样的，但要注意 $h(x)$ 的不同。

tip：以上的梯度的下降都是在循环中完成的，具体的循环次数需要自己去设置。