深度学习入门之1--感知机

目录

1什么是感知机

2简单逻辑电路及实现

2.1与门

2.2或门

2.3与非门

2.4异或门

3总结

该文章是对《深度学习入门 基于Python的理论与实现》的总结,作者是[日]斋藤康毅

1什么是感知机

感知机是由美国学者Frank Rosenblatt在1957年提出来的,感知机也是作为神经网络(深度学习)的起源的算法。因此,
学习感知机的构造也就是学习通向神经网络和深度学习的一种重要思想。

感知机接收多个输入信号,输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。

深度学习入门之1--感知机_第1张图片

使用数学表达式来表示

深度学习入门之1--感知机_第2张图片

感知机的多个输入信号都有各自固有的权重,这些权重发挥着控制各个信号的重要性的作用。也就是说,权重越大,对应该权重的信号的重要性就越高。

【注】:权重相当于电流里所说的电阻。电阻是决定电流流动难度的参数,电阻越低,通过的电流就越大。而感知机的权重则是值越大,通过的信号就越大。不管是电阻还是权重,在控制信号流动难度(或者流动容易度)这一点上的作用都是一样的。

2简单逻辑电路及实现

2.1与门

如图所示,与门仅在两个输入均为1时输出1,其他时候则输出0。

深度学习入门之1--感知机_第3张图片

代码如下:在函数内初始化参数 w1 、 w2 、 theta ,当输入的加权总和超过阈值时返回 1 ,否则返回 0 。

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

AND(0, 0) # 输出0
AND(1, 0) # 输出0
AND(0, 1) # 输出0
AND(1, 1) # 输出1

# 方式2:使用numpy初始化数组
import numpy as np
def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1
AND(0, 0) # 输出0
AND(1, 0) # 输出0
AND(0, 1) # 输出0
AND(1, 1) # 输出1

2.2或门

如图所示。或门是“只要有一个输入信号是1,输出就为1”的逻辑电路。

深度学习入门之1--感知机_第4张图片

代码实现如下:

import numpy as np

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x)+b
    if tmp <=0:
        return 0
    else:
        return 1

if __name__ == "__main__":
    OR(0, 0)  # 0
    OR(0, 1)  # 1
    OR(1, 0)  # 1
    OR(1, 1)  # 1

2.3与非门

如图所示,仅当x 1 和x 2 同时为1时输出0,其他时候则输出1。

深度学习入门之1--感知机_第5张图片

代码实现如下:
 

import numpy as np

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5]) # 仅权重和偏置与AND不同!
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

if __name__ == "__main__":
    NAND(0, 0)  # 1
    NAND(0, 1)  # 0
    NAND(1, 0)  # 0
    NAND(1, 1)  # 0

2.4异或门

上面所描述的与门、或门、与非门都是一层感知机,也就是一条直线就可以实现分类。

三种门的符号表示如下:
深度学习入门之1--感知机_第6张图片

三种简单的门可以使用单层感知机进行分类

深度学习入门之1--感知机_第7张图片

然而异或门则不能使用单层感知机实现分类,如下图
深度学习入门之1--感知机_第8张图片

由上可知,异或门不能由单层感知机进行分类(即一条直线),需要使用非线性函数进行分类。

方法:将三种简单的门组合起来实现异或门。

深度学习入门之1--感知机_第9张图片

得到:

深度学习入门之1--感知机_第10张图片

代码实现如下:

# 导入权重和偏置
import numpy as np


# 与门的实现
def AND(x1, x2):
    # w1, w2, theta = 0.5, 0.5, 0.7
    # tmp = x1*w1 + x2*w2
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:  # tmp < 0.7
        return 0
    else:
        return 1


# 实现与非门
def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1


# 实现或门
def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x)+b
    if tmp <=0:
        return 0
    else:
        return 1

# 实现异或门
def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y


if __name__ == "__main__":
    XOR(0, 0)  # 0
    XOR(0, 1)  # 1
    XOR(1, 0)  # 1
    XOR(1, 1)  # 0

3总结

简单的逻辑电路可以使用单层感知机(线性函数)进行分类,但是例如复杂的逻辑电路(例如异或门)则必须使用多层感知机(非线性函数)进行分类。

你可能感兴趣的:(python,人工智能)