20220323 CNN RNN

一、CNN

1、CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。

【算法岗面试知识点】CNN、梯度下降、损失函数、过拟合_起昵称要随意的博客-CSDN博客_cnn梯度下降

卷积神经网络_（1）卷积层和池化层学习 - outthinker - 博客园

卷积神经网络（CNN）中，卷积层、激活函数、池化层、全链接层术语解析_小牛的前进的博客-CSDN博客_卷积神经网络激活函数
2、用了pad之后，会对原有图像的像素点有更多的信息保留下来

3、首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。

4、梯度下降法用于找到使损失函数尽可能小的w和b，如下图所示，J(w,b)损失函数是一个在水平轴w和b上面的曲面，曲面的高度表示了损失函数在某一个点的值

二、RNN

(178条消息) 通俗易懂的RNN_长竹Danko的博客-CSDN博客_rnn

三分钟吃透RNN和LSTM神经网络 - 知乎 (zhihu.com)