感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)

• 感知机是具有输入和输出的算法。给定一个输入后,将输出一个既
定的值。
• 感知机将权重和偏置设定为参数。
• 使用感知机可以表示与门和或门等逻辑电路。
• 异或门无法通过单层感知机来表示。
• 使用2层感知机可以表示异或门。
• 单层感知机只能表示线性空间,而多层感知机可以表示非线性空间。
• 多层感知机(在理论上)可以表示计算机。

1感知机

x1、x2 是输入信号,y 是输出信号,w1、w2 是权重(w是weight 的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重(w1x1、w2x2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值,用符号θ 表示。
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第1张图片
感知机的多个输入信号都有各自固有的权重,这些权重发挥着控制各个信号的重要性的作用。也就是说,权重越大,对应该权重的信号的重要性就越高。

2感知机实现与门、非门、或门

(AND gate)
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第2张图片感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第3张图片
 使用权重和偏置的实现与门
 感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第4张图片具体地说,w1 和w2 是控制输入信号的重要性的参数*,而偏置是调
整神经元被激活的容易程度(输出信号为1 的程度)的参数。*比如,*若b 为−0.1,则只要输入信号的加权总和超过0.1,神经元就会被激活。*但是如果b为−20.0,则输入信号的加权总和必须超20.0,神经元才会被激活。**像这样,偏置的值决定了神经元被激活的容易程度。(因为x1,x2权重求和并加上偏置>0,y才会等于1,所以偏置绝对值越大要求越高)**另外,这里我们将w1 和w2 称为权重,将b 称为偏置,但是根据上下文,有时也会将b、w1、w2 这些参数统称为权重。

感知机也可以实现非门或门,但不能实现异或门,因此我们引出多层感知机

非门(NAND gate)
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第5张图片

或门(OR)
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第6张图片

3多层感知机

如下图所示:感知机总共由3层构成,但是因为拥有权重的层实质
上只有2 层(第0 层和第1 层之间,第1 层和第2 层之间),所以称
为“2 层感知机”,也有人成为3层感知机。

感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第7张图片
异或门(XOR)并不能通过简单的感知机实现
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第8张图片
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第9张图片
感知机与多层感知机&用与门(AND gate)、非门(NAND gate)、或门(OR)、异或门(XOR)_第10张图片

你可能感兴趣的:(动手学深度学习,神经网络,深度学习,python,算法,自然语言处理)