神经网络学习（不定期更新）

该笔记记录了一些知识点，只是为了提醒自己相关的概念，并不适合学习来用。

1、监督学习：

有一种学习方式是输入特征，输出是分类，采用监督学习，负反馈调节算法，调节每层权重

2、非监督学习：

举例：比如网络一共有10层，第一层输入20个节点，第二层18个，第三层16个......以此类推。由于层数太多，我们需要一层一层训练权重，当我们想要得到第一层和第二层节点之间的连接权重时，我们构建一个3层的神经网络20   18   20，第一层和第三层都是输入的那20个节点，中间层就是我们想要得到的特征。通过不断地训练，我们得到了20 和18之间的连线的权重，这也就可以作为之前的10层网络的第一层和第二层之间的权重。

由于训练过程中输入和输出都是原本的20个节点，因此我们认为中间的18个节点可以很好地表示那20个节点，也可以说他们是等价的，也就是特征了~

之后每一层都这样训练下去就OK

3、监督学习和非监督学习的结合：

当神经网络的层数太深，负反馈调节的 Δ 衰减太快，那么我们就要使用某种方式初始化一组比较合理的权重，而非监督学习刚好可以做这一步。因此在层数很深的时候，可以先用非监督学习初始化每层的权重，之后再用监督学习负反馈调节每层的权重值，达到好的效果。