神经网络学习-基础数学与写代码实现能力-好博客理解注释

①https://www.cnblogs.com/charlotte77/p/5629865.html 《一文弄懂神经网络中的反向传播法——BackPropagation》

神经网络前向以及反向传播写的很好的一篇博文，又讲了数学推倒，又有代码实现，非常好！

②接着上一篇，又讲了CNN原理与实现，非常精彩：

https://www.cnblogs.com/charlotte77/p/7759802.html

https://www.cnblogs.com/charlotte77/p/7783261.html

 

对彩色图（三通道）的三维卷积核：

https://jiayi797.github.io/2017/10/31/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95-%E5%8D%B7%E7%A7%AF%E7%BD%91%E7%BB%9C/

③https://blog.csdn.net/chibangyuxun/article/details/53148005《机器学习算法--逻辑回归原理介绍》

讲解了基础算法之一-逻辑回归的基础知识，并且加入了解决过拟合的-正则化简介。

 

对①的重点注释：

原文：https://www.cnblogs.com/charlotte77/p/5629865.html

•  

•  

 

 

 

(其中，把W ho改写为W outh1(o) 更容易理解，就是out-h1对应的两个W的值,分别是W5与W7)

 

写代码的时候，前向传播一层层传播，每一层从上到下计算！例如计算隐层，分别计算h1，然后h2,则此层计算完毕；

反向传播也是一样，从后往前传播，例如计算o层的偏导数，先计算ξo1,然后计算ξo2,则o层的偏导数计算完毕，（然后利用o层结果可以计算出对W5-8的偏导数）；继续反向传播，先计算ξh1（需要借助于ξo1与ξo2的值）,再计算ξh2，则h1层偏导数计算完毕，（然后利用h层结果可以计算出对W1-4的偏导数）