深度学习NN、CNN、RNN、和DNN你了解吗？

https://www.toutiao.com/a6680511919842918915/

 

 

吴恩达(Andrew Ng)，英文名Andrew Y.Ng，华裔美国人，斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。职业：计算机科学家，毕业院校：University of California,Berkeley。吴恩达主要成就在机器学习和人工智能领域，是人工智能和机器学习领域国际上最权威的学者之一。吴恩达也是在线教育平台Coursera联合创始人（with Daphne Koller）。

2014年5月16日，吴恩达加入百度，担任百度公司首席科学家，负责百度研究院的领导工作，尤其是Baidu Brain计划。

2017年10月，吴恩达将出任Woebot公司新任董事长，该公司拥有一款同名聊天机器人。

接下来就简单聊聊标准神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）和深度神经网络(DNN)。

标准神经网络（NN），深度学习本质上是神经网络，各种神经网络的基础就是NN, 一个经典的神经网络图如下图所示，这是一个包含三个层次的神经网络，红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。

卷积神经网络（CNN），专门解决图像问题的，可用把它看作特征提取层，最大的利用了图像的局部信息,将局部特征拼接起来，从而得到整幅图的特征，类似于通过拼图来还原图像。下图为最知名的卷积神经网络LeNet-5，主要是用来辨识手写数字（MNIST数据库）。

 

卷积神经网络（CNN），专门解决图像问题的，可用把它看作特征提取层，最大的利用了图像的局部信息,将局部特征拼接起来，从而得到整幅图的特征，类似于通过拼图来还原图像。下图为最知名的卷积神经网络LeNet-5，主要是用来辨识手写数字（MNIST数据库）。

 

循环神经网络（RNN），专门解决时间序列问题的，用来提取时间序列信息，放在特征提取层（如CNN）之后，其最重要的特征是具有时间"记忆"的功能。

 

深度神经网络(DNN)，当隐藏层多于2时称为深度，DNN与NN主要的区别在于把sigmoid函数替换成了ReLU，下图为具有2个隐藏层的深度神经网络。

 

不管是NN、CNN、RNN、DNN,在实际应用中都会混合着使用，这也给我们对深度学习有了更多的想象空间，大家的关注是我莫大的荣幸，下次再聊。