人工智能论文研读:深度学习算法与架构综述(包含详细统计表)

https://www.toutiao.com/a6687884910335623691/

 

总体内容概括

本文综述了几种提高训练精度和缩短训练时间的优化方法。深入研究了最近深度网络中使用的训练算法背后的数学原理。将描述当前的缺点、增强和实现。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

为了方便大家理解,我首先放几张图片和表格

Github上深度学习库的趋势

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第1张图片

 

深度学习框架和库热度

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第2张图片

 

CNN算法的伪代码

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第3张图片

 

DNN网络对比

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第4张图片

 

深度学习算法对比

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第5张图片

 

深度学习算法劣势及解决办法

人工智能论文研读:深度学习算法与架构综述(包含详细统计表)_第6张图片

 

大致目录:

目录

  1. 引言
  2. 神经网络的分类
  • 前馈神经网络
  • 递归神经网络
  • 径向基函数神经网络
  • Kohonen自组织神经网络
  • 模块化神经网络

3. 神经网络架构

  • 卷积神经网络
  • Autoencoder
  • 受限玻尔兹曼机(RBM)
  • 长短时记忆(LSTM

4. 训练算法

  • Gradient Descent
  • Stochastic Gradient Descent
  • Momentum
  • Levenberg–Marquardt algorithm
  • Backpropagation through time

5. 训练算法缺陷

  • a. vanishing and exploding gradients
  • b. local minima
  • c. flat regions
  • d. steep edges
  • e. training time
  • f. overfitting

6. 优化算法

7. 算法架构实现

你可能感兴趣的:(人工智能)