人工神经网络

人工神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。

起源：

1943年，心理学家 W.Mcculloch 和数理逻辑学家 W.Pitts 首先提出。
1950’s，F.Rosemblatt 制造了“感知机”。
1960’s，Widrow 提出了自适应线性网络。
1980’s，Hopfield 提出了 Hopfield 反馈网络，人工神经网络研究进入热潮。

1943 年，冯诺依曼提出了以简单神经元构成的再生自动网络及结构。
2014 年，IBM 的 SyNAPSE 项目推出了 TrueNorth 芯片，借鉴神经元工作原理及其信息传递机制，实现了存储于计算的融合。
2015 年10 月，欧盟 HBP 项目在《Cell》上发表文章称，成功模拟了3万个神经元和3700万个神经突触。
从2008年起，中科院计算所开始“寒武纪”项目，寒武纪2号是目前世界上最快的人工神经网络架构。
北京大学在忆阻器、神经网络芯片研究。在氧化物忆阻器研究中，保持在国际领先水平上。

原理

人脑有一千亿神经元，超过一百万亿突触，通过突触来传递信息，通过神经元来存储和处理信息。
人工神经网络是通过基本单元–神经元连接起来的自适应非线性动态系统。首先以一定的规则进行学习，然后根据学习的结果进行推理判断等功能。神经元个数越多，他能记忆、识别的模式也就越多。

模型

神经元包括：连接、加法器、激活函数，一般还包括外部偏置。

一个神经元可以用以下公式表示：

uk=∑i=1mωikxi

yk=f(uk+bk)

其中：
xi 表示输入信号
yk 表示神经元输出信号
ωik 神经元的突触权值
uk 表示输入信号线性组合器的输出
bk 神经元单元的偏置
f(⋅) 激活函数

激活函数主要有以下三种：

v=uk+bk

（1）、值域函数

f(v)={1,0,v≥0v<0

（2）、分段线性函数

f(v)=⎧⎩⎨1,v,0,v≥0−1<v<1v<0

（3）、非线性转义函数

单极性S函数：

f(v)=11+e−v

双极性S函数：

f(v)=21+e−v=1−e−v1+e−v

特点

（1）、分布式存储信息

（2）、并行协同处理信息

（3）、信息存储和处理合一

（4）、学习能力