深度学习入门~什么是神经网络

什么是神经网络？

“深度学习”指的是训练神经网络，有时候规模很大。那么神经网络时什么呢？

• 以一个房价预测为例：
  
  使用线性回归，会得到一条直线，但是由于房价不会为负，因此使用直线不太合适：
  
  因此，去掉负数部分，使它们的值（所预测的房价）为0，比较合适。
  
  这基本是最简单的神经网络了，如下图所示。
  
  黑色的圈即代表一个神经元，神经元代表的就是这条预测曲线，这个神经网络的任务就是输入面积（房屋面积），完成线性运算，得到预测的房价。
• 在神经网络文献中，经常可以看到一个叫做ReLU的曲线，全称为“修正线性单元”（Rectified Linear Unit）。
  
  修正指的是使预测值不小于0。
• 上述的是一个很小的神经网络，
  
  大一点的神经网络是将很多小的神经单元组合起来，如下例。
  假设我们加入了更多可以预测房价的因素，而不仅房屋面积：
  此处加入卧室数量，邮政代码，富裕程度等。
  
  此处所绘制的所有小圈，都可以看作一个ReLU（修正线性单元），基于房屋大小和卧室数量可以预测家庭规模，基于邮政编码可以评估学校质量和步行化程度，基于富裕程度也可以评估学校质量。
  
  x代表四个输入，y代表需要预测的量，即price。
  神经网络的神奇之处在于，如果你已经搭建好了一个神经网络，你只需要输入一个x，就可以得到y，不管训练集多大。中间的过程都会自己完成。
  
  
  这些黑色的小圈，都代表着“隐藏单元”，它们的每个输入都同时来自四个特征。我们说这四个隐藏单元在神经网络中的连接度是最高的，因为每个输入都连接到了中间的每个圈圈。

神经网络和监督学习

• 标准神经网络（Standard NN）
  
• 卷积神经网络（Convolutional NN）
  
  通常用于处理图像数据。
• 循环神经网络（Recurrent NN）
  
  非常适合处理一维数据。
• 数据化结构和非数据化结构：
  1）结构化数据：
  
  每个数据都有着清晰的定义。
  2）非结构化数据：
  
  数据可能是一段音频，一张图片，或一段文字。

为什么深度学习会兴起？

• 传统的机器学习算法的表现，如支持向量机，Logistic回归：
  
  它的性能一开始会随着数据量的上升而上升，但随后会趋平。
  
  而随着神经网络规模的增大，在处理大量数据上的表现会越来越好。