deep-learning(1) - 随手记录的知识点

业界通常认为第一层是隐藏层的第一层

AI会遇上工程类问题

Padding补零操作，可以保证卷积核在每块区域都进行卷积，迭代次数越多，更有效果，提取特征更好

生成器和迭代器，存在的意义，一般我们需要对一个数组进行操作的时候，我们要遍历出来操作，比如一亿个参数，我们不可能一次性全部取出来，一个一个的去取，这就是生成器存在的意义。

Dataloader加载数据到内存

Next（iter（a））

转换成0，1 转换成正态分布

化为标准正态分布之后，学习率是最高的

One-hot torch.scatter() 起到填充的效果

One-hot编码

猪【1，0，0】 狗【0，1，0】 牛【0，0，1】

因为标签是单一的一个啊，所以我们需要转化我们的标签为独热编码。

当我们网络跑出【0.1，0.7，0.3】该值与狗最相近

为了生成one-hot

需要零矩阵

Torch.zeros()//帮我们生成了零阵

反向求导，就是做梯度更新的意思

关于激活函数

激活函数都是高度非线性的，会有一个陡增的变化趋势，从中其实我们可以得知，需要拟合度越高越好。拟合我们的训练数据。

图片1.png