3BLUE1BROWN 神经网络三讲笔记

3BLUE神经网络笔记

3blue的神经网络第一集笔记

以手写数字识别为例，28*28的像素平台上，得到的784个像素点平铺开来

然后加权乘起来，再累加

 

 

再加上偏置值，最后用sigmoid函数或者ReLU函数处理

 

 

输入是784个，中间有两层16个神经元的隐含层，输出是10个数字，最后有13002种可能的结果

 

 

3blue的神经网络第二集笔记

决定其激活值的加权和权重，可指那些连接的强弱

偏置值则表明神经元是否更容易被激活

 

为了让神经元训练的效果更好

需要计算损失函数loss function并且不断逼近局部最小

在逼近局部最小的过程中，就像小球落下一样，无法保证落到的局部最小值就是代价函数可能达到的全局最小值

如果移动的步长和斜率相关的话，那么逼近局部最小值的时候，步长会很小，防止掉过头

 

 

让函数值最小的算法，就是先计算梯度，再按梯度反方向走一小步下山，然后循环

negative gradient of this cost function

 

 

 

3blue的神经网络第三集笔记

梯度向量的每一项的大小都是在告诉大家 ，代价函数对于每个参数有多敏感

stochastic gradient descent 随机梯度下降法 像醉汉下山，但是比精细的找准下山最近的路要来的方便快捷

 

增加激活值，有三种方法可以走：

增加偏置值b、增加权重值w、改变上一层的激活值a

 

 

小结

BP反向传播算法，其实是单个训练样本想怎样修改权重与偏置，不仅是说每个参数是变小还是变大，还包括了这些变化的比例是多大 才能最快的降低代价

 

不足

视频p1并未讲的很细，大体上知道它是通过随机梯度下降法来提升好的增益，p2的数学部分视频需要补课