人工神经网络 ANN 基础概念

目录

一:简介

二:感知器

三:权重和阈值

四:多层前馈网络

五:BP神经网络


一:简介

机器学习是实现人工智能的方法,深度学习是实现机器学习的技术。在实现人工智能时需要人工辅助(半自动),而深度学习使该过程完全自动化

举例说明,如通过机器学习算法来识别动物是猫还是狗,需要人工输入动物的特征数据,生成一定的算法模型,进而可以准确预测具有这些特征的动物的类型,而深度学习则能自动地去发现特征进而判断

人工神经网络(Aritificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,在机器学习和认知科学领域,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一个自适应系统,通俗的讲就是具备学习功能

二:感知器

提出了最早的“人造神经元”模型,叫做“感知器”

人工神经网络 ANN 基础概念_第1张图片

neuron:神经元

dendrites:树突,位于神经元末端的细分支,接收其他神经元传来的信号

axon:轴突(神经细胞的突起,将信号发送到其他细胞)

输入可以类比为神经元的树突,而输出可以类比为神经元的轴突,计算则可类比为细胞核

三:权重和阈值

权重:各种因素很少具有同等重要性:某些因素决定性因素,另一些因素是次要因素。因此,可以给这些因素指定权重(weight),代表它们不同的重要性

阈值:因素和权重的总和大于阈值,感知器输出1,否组输出0 

人工神经网络 ANN 基础概念_第2张图片

人工神经网络 ANN 基础概念_第3张图片

感知器 - 权重和阈值:

人工神经网络 ANN 基础概念_第4张图片

1.本神经元接收到来自N个外界(或者其他神经元)的输入信号

2.这些输入信号通过带权重的连接进行传递,给本神经元

3.本神经元接收到的总输入将于本神经元的阈值进行比较

4.比较后,通过“激活函数”处理,产生输出 

感知器弊端:感知器网络只能处理线性问题(二分类问题),无法处理非线性问题(异或问题)

四:多层前馈网络

解决非线性问题

相比感知器多了一层隐藏层,每个隐藏层中有多个神经元

人工神经网络 ANN 基础概念_第5张图片

隐藏层:除输入层和输出层以外的其他各层叫做隐藏层,不直接接收外界的信号,也不直接向外界发送信号 

三层前馈网络,输出的结果不是值,而是概率

多层前馈网络 弊端需要计算的参数太多,导致训练的时间过长,网络稍微深一些(多个隐藏层),就需要大量的训练时间

原因:网络中的数据流向是单向的,只会按照输入层-隐藏层-输出层的顺序流动

五:BP神经网络

BP反向传播算法,系统地解决了多层网络中隐藏单元连接权的学习问题,明确否定了明斯基等人的错误观点,对神经网络第二次高潮具有决定性意义

BP神经网络:相对于前馈网络,BP神经网络是为了解决神经网络多层学习问题

人工神经网络 ANN 基础概念_第6张图片

BP算法全称为误差反向传播,其算法基本思想为:是前馈网络中,输入信号经过输入层输入,通过隐藏层计算由输出层输出,输出值与标记值比较,若有误差,将误差反向由输出层向输入层传播,在这个过程中,利用梯度下降算法对神经元权值进行调整

BP算法流程 

大致流程为:

正向传播FP(求损失):根据输入的样本,给定的初始化权重值W和偏置项的值b,计算最终输出值及输出值与实际值之间的损失值,如果损失值不在给定的范围内则进行反向传播的过程,否组停止W,b的更新

反向传播BP(回传误差):将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即为修正各个单元权值的依据

BP算法 整个过程为

首先进行一次正向传播:输入层--》隐藏层--》输出层

根据对比输出结果和目标的误差

反向计算层传递权值的误差

调整权值

再进行一次正向传播

反复迭代,实现目标拟合

你可能感兴趣的:(人工智能,深度学习)