深度学习概论

文章目录

  • 一、深度学习历史
  • 二、深度学习
    • 深度学习的步骤
      • 1. 定义一个Function就是神经网络
      • 2. 定义损失
      • 3.最优化


一、深度学习历史

  • 1958年:人们感觉人工智能要来了,因为linear model的出现,它可以做到一些稍微复杂的分类和预测问题,当时他们也叫这个技术为Perceptron,感知器
  • 1969年:有人终于发现了linear model有缺点,研究了一下为什么“坦克与卡车”的图像分类为什么如此精确,原来是因为两组图片的拍照时间不一样,而机器是通过其亮度作为特征来分类的
  • 1980年代:多层感知机,尝试使用多层的感知机(与现在的deep learning基本没有差别)
  • 1986年:出现了反向传播,但是发现超过3层就不太有用了
  • 1989年:有人认为,一个隐藏层就足够成为任何的function。这段时间多层感知机被各种嫌弃,所以人们才给它换了个名字,就是深度学习。
  • 2006年:RBM initialization被认为是大突破,这个非常复杂,用于梯度下降初始化值,最后发现复杂但是没啥用.
    RBM init

你可能感兴趣的:(MachineLearning,深度学习,人工智能)