从感知机到深度学习发展史

原创不易,转载前请注明博主的链接地址:Blessy_Zhu https://blog.csdn.net/weixin_42555080
 

 
在这里插入图片描述

一 从机器学习到深度学习

我们知道,Machine Learning分为两大派别:频率派和贝叶斯派;前者逐渐发展为统计学习,后者逐渐发展为概率图模型(PGM)
从感知机到深度学习发展史_第1张图片
其中,频率派常用的思想有:正则化、核化、集成化、层次化;概率图模型常见的模型有:有向图模型如Bayesian Network,无向图模型如:Markov Network,有向+无向(混合)模型:mixed Network。
从感知机到深度学习发展史_第2张图片
频率派中的层次化思想最主要的应用就是神经网络(Neural Network),神经网络有很多模型:MLP多层感知机,AutoEncoder自动编码机,CNN人工神经网络,RNN循环神经网络;这些统称为深度神经网络。而有向图如果加了Deep,就变成Deep Diercted Network,如Sigmoid 信念网络、GAN生成式对抗网络,VAE变分自编码器;无向图模型加了Deep,会有深层波尔兹曼机;有向+无向模型加了Deep,会有深度信念网络Deep Belief Network;他们统称为深化生成模型Deep Generative Model。
从感知机到深度学习发展史_第3张图片
深度神经网络和深度生成模型这两部分组成Deep Learning。这就是由Machine Learning到Deep Learning的粗略过程。

二 从感知机到深度学习历史

2.1 宏观描述

从感知机到深度学习发展史_第4张图片
宏观来看,从1940年起,深度学习经历了三次打的浪潮。首先提出了MP模型Hebb(海布)学习规则.这是神经网络的起源,也奠定了神经网络的基础模型。
第一波浪潮。在1960年,提出了感知机模型,感知机模型可以对简单的数据节点进行分类,这个发现引起了第一波的AI浪潮,因为人们认为简单的感知机可以实现分类功能,那通过组合可以实现更复杂的功能,但后面发现感知机无法模拟异或运算,无法处理非线性的问题,第一波浪潮就这样沉入了低谷。
第二波浪潮。1980年Hopfiled网络,Boltzmann机和BP算法的提出,人们发现可以增加网络的深度来实现非线性的功能,所以开始了第二次浪潮。但是在80年代,计算机的计算能力十分有限,很难训练出一个有效的模型来使用,所以导致了这种方式始终处于鸡肋的状态。再加上同一时期浅层方法的成功,如SVM(1995), 使得人们转为研究浅层的方法。
1998年CNN被提出,也应用到了邮政局的邮政编码识别,但是因为当时并不重视这种深度网络,导致并没有火起来。
第三波浪潮。到了2006年,Hinton提出了DBN,解决了更深层次的网络是可以通过一些策略更好的训练和实现,所以就引起了现在深度学习的第三次浪潮。

2.2 细致讲解


上面的内容就不用文字写了,大家可以形象的通过上图看到。

三 总结

本篇文章介绍了从机器学习到深度学习,从感知机到深度学习的内容。
这篇文章就到这里了,欢迎大佬们多批评指正,也欢迎大家积极评论多多交流。
 

 
在这里插入图片描述

参考文章

1 深度学习概述与发展历史-花书第一章解读(下)
2 梳理百年深度学习发展史
3 01-深度学习-概述-深度学习的发展历程
4 神经网络和深度学习简史(一)

你可能感兴趣的:(机器学习,从机器学习到深度学习,从感知机到深度学习)