【机器学习】课程笔记07_神经网络的表述(Neural Networks Representation)

非线性假设（Non-linear Hypotheses）

• 线性回归和逻辑回归的缺点： 当特征太多时，计算的负荷会非常大。

• 例子： 识别一张图片上是否是一辆汽车

  方法：利用这些图片上一个个像素的值（饱和度或亮度）来作为特征。假使我们采用的都是50x50像素的小图片，并且我们将所有的像素视为特征，则会有 2500个特征，如果我们要进一步将两两特征组合构成一个多项式模型，则会有约$2500^2/2$个（接近3百万个）特征。普通的逻辑回归模型，不能有效地处理这么多的特征，这时候我们需要神经网络。

神经元与大脑（Neurous and the Brain）

• 神经网络： 一种很古老的算法，它最初产生的目的是制造能模拟大脑的机器。

• 大脑处理的方法，只需要一个单一的学习算法就可以了。

  例子：

  

模型展示Ⅰ（Model Representation Ⅰ）

• 大脑中的神经元结构：

  

• 神经网络模型：

  • 三部分：输入层（Input Layer）、隐藏层（Hidden Layers）、输出层（Output Layer）

  • 为每一层增加一个偏差单位（bias unit）

  • 数据从输入层开始，通过激活函数前向传播到第一隐藏层，经过多个隐藏层，最后到达输出层，神经网络表示复杂的逻辑关系，主要是对隐藏层的构造。

  • 例子：

    

    • $a_i^{(j)}$ 表示第 $j$ 层的第 $i$ 个激活单元。

    • ${\theta }^{(j)}$代表从第 $j$ 层映射到第 $j+1$ 层时的权重矩阵。尺寸为：$s_{(j+1)}\times (s_j+1)$，例如 ${\theta }^{(i)}$ 的尺寸为 $3\times 4$。

    • 对于上图，激活单元和输出分别为：

      

    • 上面进行的讨论中只是将特征矩阵中的一行（一个训练实例）喂给了神经网络，我们需要将整个训练集都喂给我们的神经网络算法来学习模型。每一个$a$都是由上一层所有的$x$和每一个$x$所对应的决定的。这样从左到右的算法称为前向传播算法（Forward Propagation）。

    • $X=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]$ $\theta =\left[\begin{array}{cccc}{\theta }_{10}& \cdots & \cdots & \cdots \\ \cdots & \cdots & \cdots & \cdots \\ \cdots & \cdots & \cdots & {\theta }_{33}\end{array}\right]$ $a=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]$

    • $g(\theta \cdot X)=a$

模型展示Ⅱ（Model Representation Ⅱ）

• 向前传播（forward propagation） 相对于使用循环来编码，利用向量化的方法会使得计算更为简便。

  • 以上面的神经网络为例，试着计算第二层的值：

    

    

  • 计算输出的值为：

    

• 神经网络就像是逻辑回归，只不过我们把逻辑回归中的输入向量$[x_1\sim x_3]$ 变成了中间层的$[a_1^{(2)}\sim a_3^{(2)}]$, 即: $h_{\theta }(x)=g({\Theta }_0^{(2)}{a}_0^{(2)}+{\Theta }_1^{(2)}{a}_1^{(2)}+{\Theta }_2^{(2)}{a}_2^{(2)}+{\Theta }_3^{(2)}{a}_3^{(2)})$。

• 我们可以把$a_0,a_1,a_2,a_3$看成更为高级的特征值，也就是$x_0,x_1,x_2,x_3$的进化体，并且它们是由 x与$\theta$决定的，因为是梯度下降的，所以$a$是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将$x$次方厉害，也能更好的预测新数据。 这就是神经网络相比于逻辑回归和线性回归的优势。

例子和直觉理解Ⅰ（Examples and Intuitions Ⅰ）

• 单层神经元（无中间层）的计算可用来表示逻辑运算。

• 逻辑与（AND）：

  

• 逻辑或（OR）：

  

• 逻辑非（NOT）：

  

例子和直觉理解Ⅱ（Examples and Intuitions Ⅱ）

• 我们可以利用神经元来组合成更为复杂的神经网络以实现更复杂的运算。

• 逻辑同或（XNOR）：$(x_{1}AND{x}_2)OR((NOT{x}_1)AND(NOT{x}_2))$

  • 先分别完成 $a_1=x_{1}AND{x}_2$ 和 $a_2=(NOT{x}_1)AND(NOT{x}_2)$
  • 再将二者结合 $a_{1}OR{a}_2$

  

多元分类（Multiclass Classification）

• 当我们有不止两种分类时，即y$=1,2,3\dots$（例如识别行人、汽车、摩托车和卡车）：

  • 输出层我们应该有4个值，第一个值用于识别是否是行人，第二个值用于识别是否是汽车…

  • 理想状态，输出层中仅有一个为1，每种输出对应一个分类器。