tensorflow初探十之神经网络发展和气tensorflow实现——《Tensorflow技术解析与实战学习

第六章-神经网络的发展及其 TensorFlow 实现

6.1 卷积神经网络

卷积神经网络(CNN),它的权值共享(weight sharing)的网络结构显著降低了模型的复杂度,减少了权值的数量,是目前语音分析和图像识别领域研究热点。卷积神经网络
可以直接将图片作为网络的输入,自动提取特征,并且对图片的变形(如平移、比例缩放、倾斜)等具有高度不变形
神经网络(neural networks, NN)的基本组成包括输入层、隐藏层、输出层。卷积神经网络的特点在于隐藏层分为卷积层和池化层(pooling layer,又叫下采样层)。卷积层通过一块块卷积核(conventional kernel)在原始图像上平移来提取特征,每一个特征就是一个特征映射;而池化层通过汇聚特征后稀疏参数来减少要学习的参数,降低网络的复杂度,池化层最常见的包括最大值池化(max pooling)和平均值池化(average pooling)。

卷积神经网络构成的金字塔形状

卷积核在提取特征映射时的动作称为 padding,其有两种方式,即 SAME 和 VALID。由于移动步长(Stride)不一定能整除整张图的像素宽度,我们把不越过边缘取样称为 Valid Padding,取样的面积小于输入图像的像素宽度;越过边缘取样称为 Same Padding,取样的面积和输入图像的像素宽度一致。

image.png

6.2 卷积神经网络的发展

第一个卷积神经网络模型 LeCun 诞生于 1989 年,其发明人是 LeCun。1998 年 LeCun 提出了 LeNet,但随后卷积神经网络的锋芒逐渐被 SVM 等手工设计的特征的分类器盖过。随着 ReLU 和 Dropout 的提出,以及 GPU 和大数据带来的历史机遇,卷积神经网络在 2012 年迎来了历史性突破—AlexNet。AlexNet 之后卷积神经网络的演化过程主要有 4 个方向的演化:一个是网络加深,二是增强卷积层的功能,三是从分类任务到检测任务,四是增加新的功能模块。


卷积神经网络的发展

6.3使用tensorflow构建一个AlexNet

alexnet的网络结构

关于LRN的计算公式和tensorflow中的对应公式看不懂
image.png

lrn的计算公式

TensorFlow 的模型都位于 https://github.com/tensorflow/models。正如 5.2 节中介绍的,这个目录中有很多图像和语音处理的模型,可以直接拿来用。这些模型的检查点文件(参参 4.8.1节 ckpt 模型文件的保存)有的被打成压缩包,可以直接下载,当作预训练模型使用.

你可能感兴趣的:(tensorflow初探十之神经网络发展和气tensorflow实现——《Tensorflow技术解析与实战学习)