深度学习常用框架和基础模型

由于是从Word文档直接复制过来，其中格式如果乱码或者不通顺，请评论区告知我

一、深度学习框架

参考链接：
https://www.jianshu.com/p/4b89cccb8407
https://blog.csdn.net/jasonaidm/article/details/90522615

1、解释

此图像中有各种类别，猫、骆驼、鹿、大象等。我们的任务是将这些图像分类到相应的类（或类别）中。Google搜索告诉我们，卷积神经网络（CNN）对于此类图像分类任务非常有效。所以我们需要去实现这个模型，但是如果你开始从头开始编写CNN，那么获得工作模型将是几天后（甚至是几周），而这就是深度学习框架真正改变了这尴尬的局面。
　　无须写上百行代码，我们仅仅需要使用一个适合的框架去帮助我们快速建立这样的模型。以下是良好深度学习框架的一些主要特征：
　　1. 针对性能进行了优化
　　2. 易于理解和编码
　　3. 良好的社区支持
　　4. 并行化进程以减少计算
　　5. 自动计算渐变

2、常用的框架

Tensorflow、Keras、PyTorch、Caffe、DeepLearning4j(用于Java)、CNTK

二、常用的深度神经网络基础模型（视觉）

参考链接：https://blog.csdn.net/jasonaidm/article/details/90522615

1、AlexNet模型

2012年，Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet，夺得了2012年ImageNet LSVRC的冠军。AlexNet可以说是具有历史意义的一个网络结构，在此之前，深度学习已经沉寂了很长时间，自2012年AlexNet诞生之后，后面的ImageNet冠军都是用卷积神经网络(CNN)来做的，并且层次越来越深，使得CNN成为在图像识别分类的核心算法模型，带来了深度学习的大爆发。

2、VGG模型

VGG又分为VGG16和VGG19，分别在AlexNet的基础上将层数增加到16和19层，它除了在识别方面很优秀之外，对图像的目标检测也有很好的识别效果，是目标检测领域的较早期模型。

3、GoogLeNet模型

GoogLeNet除了层数加深到22层以外，主要的创新在于它的Inception，这是一种网中网(Network In Network) 的结构，即原来的节点也是一个网络。用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2到3倍的性能提升。

4、ResNet模型

ResNet直接将深度拉到了152层， 其主要的创新在于残差网络， 其实这个网络的提出本质上是要解决层次比较深时无法训练的问题。 这种借鉴了Highway Network思想的网络， 相当于旁边专门开个通道使得输入可以直达输出， 而优化的目标由原来的拟合输出H(x) 变成输出和输入的差H(x)-x， 其中H(x) 是某一层原始的期望映射输出， x是输入。

5、MobileNet模型

2017年，Google提出的适用于手机端的神经网络模型——MobileNet。MobileNet的精华在于卷积方式——Depthwise separable convolution；采用深度可分离卷积会涉及到两个超参数来减少参数量和计算量：

• 宽度乘数(width multiplier)： [减少输入和输出的channels]
• 分辨率乘数(resolution multiplier)： [减少输入和输出的feature map大小]

Mobilenet可以应用于多个领域：目标检测，分类，跟踪等诸多领域。用于移动和嵌入式视觉应用。

6、BERT模型

2018年年底，谷歌AI团队新发布的BERT模型，在NLP业内引起巨大反响，认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4%(绝对改进7.6%)，MultiNLI准确度达到86.7%(绝对改进率5.6%)等。BERT模型是以Transformer编码器来表示的NLP词向量模型。相信2019年会有越来越多的NLP模型潜入BERT技术，并刷新各子领域的state-of-the-art!