神经网络和深度学习WU Week1

深度学习概论

一、什么是神经网络

• 1.以房屋定价预测为例说明什么是神经网络。
  数据集：6个房屋数据，输入变量为大小size，输出变量为价格Price

• 1.1 仅仅考虑size作为输入变量就能得到一个神经元的神经网络。
  也就是输入size，通过模型预测，得到输出房屋价格
  

  一个神经元的神经网络

• 1.2 考虑多个因素的复杂模型

  
  
  多个因素的复杂模型

• 1.3 事实上，在神经网络中，我们往往并不关心中间层的因素是啥，会让神经网络自己决定，我们只关心输入自变量 得到预测变量 。
  

  神经网络示意图

二、用神经网络进行监督学习

• 1. 监督学习Supervised Learning
     简单来说就是输入自变量，找到合适的模型，输出因变量。常见的监督学习及其应用如下。

     
     
     监督学习及其应用
  • CNN卷积神经网络适用于图像数据处理
  • RNN循环神经网路适用于一维序列数据，其中包含时间成分。
• 2. 数据类型：
  • Structured Data
    数据的数据库，每个feature都有清晰的定义

  • Unstructured Data
    音频、原始音频、图像
    特征可能是像素值，或者文本中的一个单词

    
    
    数据类型

计算机处理非结构化数据更困难，但是人类很擅长处理非结构化数据，神经网络和深度学习的出现让计算机能更好的解释非结构化数据。

• 3. 深度学习的兴起（为什么深度学习现在这么火？）
     一图以言之：

     
     
     深度学习与传统方法
  • 规模推动深度学习，规模不仅是神经网络的规模还是数据（带标签的数据）的规模。
  • 符号约定：
    ：数据集规模/训练样本的数量
  • 如上图所示，如果数据集规模比较小的话，传统方法例如支持向量机可能表现也很好，但是数据规模比较大的时候深度学习就会凸显它的优势。

  • 早期的神经网络更多的是数据和计算性能的发展，近几年算法也在发展并加快计算速度，典型的例子就是sigmoid函数转化为ReLu函数加速‘梯度下降法’计算速度。加快速度重要的另一个原因就是事关效率，可以更好地实现并改进你的想法。

    
    
    数据、计算与算法