神经网络的基本介绍

目录

1）知道神经网络的概念

人工神经网络（ANN）

神经元的概念

2）M-P神经元模型

 3）单层神经网络

4）感知机（相当于两层神经网络）

 感知机作用：

5）多层神经网络

 概率：全连接

6）激活函数

为什么需要激活函数

 激活函数分类

激活函数作用

---

目标

1.知道神经网络的概念

2.知道什么是神经元

3.知道什么是单层网络

4.知道什么是感知层

5.知道什么是多层神经网络

6.知道激活函数是什么？有什么作用？

7.理解神经网络的思想

1）知道神经网络的概念

人工神经网络（ANN）

简称神经网络或类神经网络是一种模仿生物的神经网络（动物的中枢神经，特别是大脑的结构和功能）的数学模型，用于对函数进行估计或近似

与其他机械学习方法一样，神经网络已经被用于解决各种各样的问题，例如机械视觉和语音识别这些问题都是很难被传统基于规则的编程所解决

神经元的概念

在生物神经网络中每个神经元与其他神经元连接，当他兴奋的时候，将会向相邻的神经元发送化学物质，从而改变这种神经元类的电位，如果神经元的电位超过一个阈值，那么它就会被激活起。向其他神经元发送化学物质。

我们可以把这一种神经元按一定层次结构连接起来的叫做神经网络

2）M-P神经元模型

 

 

 

 可见：一个神经元的功能就是求输入向量与权向量的内积，经一个非线性传递函数得到一个标量结果

 向量的内积概念 即 向量的的数量积 定义：两个非零向量的夹角记为〈a，b〉，且〈a，b〉∈[1，π]。 定义：两个向量的数量积（内积、点积）是一个数量，记作a·b。若a、b不共线，则a·b=|a|·|b|·cos〈a，b〉

 3）单层神经网络

单层神经网络是最基本的神经元网络形式，由有限的神经元构成，所有神经元的输入向量都是同一个向量，由于每一个神经元都会产生一个表面结果，所以单纯神经元的输出是一个向量，向量的维数等神经元的数目

4）感知机（相当于两层神经网络）

 感知机作用：

将一个N维的向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的人一边得到输入时正类或者反类，对于二维空间就是一条线，把一个平面分成两个部分

5）多层神经网络

多层神经网络就是由单层神经网络进行叠加之后，得到的所形成的层的概念，常用的多层神经网络有如下结构：

输入层：由众多神经元，接受大量非线性输入信息，输入信息为输入向量

输出层：消息在神经元链接中的 传输 分析 权重，形成输出结果，输出信息称为输出向量

隐藏层：简称隐层是由输入层和输出层之间众多神经源和链接组成的各个层面引伸

可以有一层或者多层，隐身的结节，数目不变，但数量越多，神经网络的非线性越显著，从而它的强劲性更显著

如图：

 概率：全连接

当前一层和前一层每个神经元相互连接，我们成当前一层为全连接层

 进行的是y=w^t  x + b 操作

 

6）激活函数

为什么需要激活函数

我们直接上例子：现在有一组数据，三角形和四边形需要分类

首先我们可以根据感知机模型画出一条线 

但是我们明显可以看出来图上数据不可能用一条直线分开了，

这时候我们考虑再加一层感知机 公式如下：（我们不难发现这样子还是一条直线的划分）

不管加多少感知机都无法二分类 这个时候我们考虑到 激活函数

 激活函数分类

线性激活函数和非线性激活函数

 我个人理解为（直线和曲线）

但是贴吧上大佬们说

线性条件 f(x1+x2) = y1+y2

               f(kx1) = ky1

激活函数作用

1.增加非线性分割能力

 

 2.提高稳定性

3.缓解梯度消失（先理解一下就）

4.加速模型建构