深度学习-前言

数据量大，数据之间有局部相关性

整体解释：

1）自下而上的非监督学习

2）自顶向下的监督学习

接下来，在深度学习板块，我将结合自己找工作时候涉及到的一些深度学习方面的知识进行总结，希望可以对博友们有所帮助。

主要分为一下及部分进行。

一、       卷积相关问题.

1、卷积

2、什么时候用local-conv、什么时候用全卷积

3、可分离卷积模型压缩？

4、CNN常见问题..

5、Batch-Normalization：（加速训练）

6、Pooling作用？max-pooling和mean-pooling

7、dropout

8、L1与L2正则化

9、卷积反向传播过程

7、激活函数（反向求导难易，梯度弥散，网络稀疏性）

7、ReLU代替 sigmoid 的利弊

10、交叉熵损失、均方误差损失

11、softmax交叉熵损失函数求导

12、logloss和auc的区别

二、       深度学习调参经验

三、       卷积实例了解

LeNet-5

AlexNet

VGG-16

ResNets

谷歌Inception（GoogLeNet）

四、       迭代优化器的原理.

1、SGD 以及学习率的选择方法、带动量的 SGD

2、自适应学习率算法：AdaGrad、RMSProp、Adam

五、       一个简单的Tensorflow框架下的卷积代码

接下来，我将从这几个方面进行博客书写。