笔记：神经网络与深度学习——神经网络

一、生物神经元

单个细胞只有两种状态“兴奋和抑制

二、神经网络如何学习

赫布法则Hebb’s Rule

1.人工神经元

最左侧一列表示神经元接受的信号，权重用来模拟不同神经元之间的连接强度。
人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面：

2.人工神经网络

人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。

神经网络结构大体上分为上图所示三种类型，但是大多数网络都是复合型结构，即一个神经网络中包含多种网络结构。
神经网络与深度学习的对应

上图表达式中的嵌套函数每一个F对应神经网络一层，F1对应第一层隐藏层，F2对应第二层隐藏层，F3对应输出层，最终产生Y。F1,F2可以看作表示学习，F3可以看做浅层学习，合起来就是一个深度学习。

3.如何解决贡献度分配问题

对于一个函数，若要看x对y的影响有多大，数学上我们用偏导数表示。
对应到神经网络里面：

神经网络天然不是深度学习，但深度学习天然是神经网络。

三、神经网络发展史

这里就不巴拉巴拉啦…