cnn和lstm

cnn和lstm原理

cnn基础理论

5-卷积神经网络图解-1_哔哩哔哩_bilibili

【面试之CNN基础知识梳理】_一枚甜甜的程序媛的博客-CSDN博客

机器学习与深度学习面试系列十三（CNN） - 知乎

1.图像是怎么表示的

用像素点表示，0～256

2.为什么不用全连接层表示图片

因为参数量太多了，比如一个24*24的图片，576个像素点，输入到256*128的网络里，第一层参数量是576*256个参数，占用字节空间是576*256*4 byte.

3.局部感知野

降低参数量，权值共享

通过滑动窗口来完成整个区域的扫描

通过权值共享来完成参数量不增加

4. 卷积为什么是先相乘，再累加

从信号学上理解

从“卷积”、到“图像卷积操作”、再到“卷积神经网络”，“卷积”意义的3次改变_哔哩哔哩_bilibili

卷积核的理解：

比如一个3*3的卷积核，里面的值都一样，表示周围像素点对当前像素点的影响

比如做边缘检测的卷积核，表示当前像素点对周围的试探

5.对padding和stride的理解

padding可以使输出的长度宽度增加

stride可以使输出的长度宽度降低

两者一起使用可以使的输出的长度宽度可以调节。

6.池化层

7.channel

【CNN】理解卷积神经网络中的通道 channel_scxyz_的博客-CSDN博客_cnn通道数

channel可以理解为卷积核的数量，图片输入是[b,w,h,c],随着网络的加深，希望w和c越来越小,c越来越大，长度宽度越来越小，通道数越来越多。

多通道输入，多通道输出。

8.深层cnn如何防止过拟合

残差网络？

9. xception的输出维度

base_model的输出是[b,2048,h,w],2048表示通道数，通过一个avg pooling把宽和宽的像素值加起来做个均值。

cnn面试题

【算法岗必看】深度学习高频面试真题

机器学习与深度学习面试系列十三（CNN） - 知乎

1.介绍一下卷积神经网络

图像识别任务里面卷积神经网络比较常见。先说经典的全连接神经网络为什么不太适合图像识别任务：

一是参数太多，图像是由像素点矩阵来表示的，假如一个25*25*1的矩阵，每个像素点都连接dense层的话，维度会很大。

二是没有利用像素之间的位置信息，单个像素和其周围像素的联系是比较紧密的。

三是网络层数限制，全连接网络超过三层很容易出现梯度消失问题。？是用池化层来缓解梯度消失的问题吗

然后说说卷积神经网络，一个卷积神经网络由若干卷积层、池化层、全连接层组成。

2.如何理解卷积

从“卷积”、到“图像卷积操作”、再到“卷积神经网络”，“卷积”意义的3次改变_哔哩哔哩_bilibili

卷积其实是周围像素点(卷积核大小的像素点)对当前像素点的影响。

rnn和lstm理论基础

1-序列表示方法_哔哩哔哩_bilibili

44. 44 - 044 RNN网络架构解读_哔哩哔哩_bilibili

rnn会把之前所有的结果都记下来，记的多了就不准了，离着太远的对当前影响不大。

lstm的优化点可以忘掉前面的一些信息。c控制什么信息保留下来，什么信息丢弃。

 

lstm面试题

1.介绍一下RNN、LSTM、GRU？他们的区别和联系是什么

算法面试问题四（RNN/LSTM/GRU）【这些面试题你都会吗】 - 知乎

rnn: rnn中隐藏层的输出不仅取决于当前的输入x，还取决于上一次隐藏层的输出值。适合处理数据有先后顺序的一种神经网络结构。

rnn在训练中比传统的网络更容易发生梯度爆炸和梯度消失。

梯度消失：根源是神经网络天然属性决定的：反向传播，链式求导。rnn的序列太长的话，激活函数的导数最大是1，经常小于1，很多小于1的数相乘，趋紧于0.

梯度爆炸: 参数过大的时候，链式相乘，发生梯度爆炸。

lstm:是基于rnn改进而来的，解决了rnn的梯度消失梯度爆炸问题。相比rnn多了一个遗忘门，决定了上一时刻的信息有多少保留到当前时刻。其实门的结构很简单，就是一个sigmoid层和一个点乘操作的组合，因为sigmoid层的输出是0-1的值，这代表有多少信息能够流过sigmoid层。0表示都不能通过，1表示都能通过。

视频分类

深度学习之视频分类与行为识别—理论实践篇（搞定视频分类，这一门课就够了）_哔哩哔哩_bilibili

1.为什么用cnn+lstm而不是用3d卷积

xception

[论文笔记] Xception - 知乎

深度可分离卷积

各种卷积层的理解

各种卷积层的理解（深度可分离卷积、分组卷积、扩张卷积、反卷积）_gwpscut的博客-CSDN博客_深度可分离卷积

深度可分离卷积

[深度学习] 深度可分离卷积_VinkinTsang的博客-CSDN博客_深度可分离卷积

xception

关于「Inception」和「Xception」的那些事 - 知乎

keras里的API

应用 Applications - Keras 中文文档

xception

深度学习之基础模型-Xception_leo_whz的博客-CSDN博客_xception模型

在inception的基础上，结合深度可分离卷积。深度可分离卷积：图像是三个通道（平面+空间），深度可分离卷积是在空间维度上把卷积拆分，降低参数量。

无需数学背景，读懂ResNet、Inception和Xception三大变革性架构 - 腾讯云开发者社区-腾讯云

 xception 概念

使用VGGNet、ResNet、Inception和Xception分类图像_XerCis的博客-CSDN博客