第二章.神经网络—激活函数
第二章.神经网络
感知机存在如何设置合适的权重问题，神经网络的出现就是为了解决感知机存在的问题，神经网络的一个重要性质：它可以自动的从数据中学习到合适的权重参数。
2.1.从感知机到神经网络
1.神经网络示例
1).示意图：
- 网络一共由3层神经元构成，但是实际上只有两层神经元有权重，因此称为“2层网络”，有的书也会根据构成网络的层数来定义，称为“3层网络”。
2).感知机与激活函数的关联：
①.感知机数学公式：
②.改写成
③.刚才使用的h(x)函数就会将输入信号的总和转换为输出信号，这种函数一般称为激活函数 (作用：在于决定如何来激活输入信号的总和)
2.2.激活函数
1.阶跃函数
1).函数：
2).图像
3).实现：
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文乱码
plt.rcParams['axes.unicode_minus'] = False # 解决负号不显示的问题
# 阶跃函数的实现
def sign(x):
return np.array(x > 0, dtype=int)
x_data = np.arange(-5.0, 5.0, 0.1)
y_data = sign(x_data)
plt.figure(figsize=(6, 4))
plt.plot(x_data, y_data, 'r')
plt.ylim(-0.1, 1.1)
plt.title('阶跃函数')
plt.show()
2.Sigmoid函数
1).函数：
2).图像
3).实现：
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文乱码
plt.rcParams['axes.unicode_minus'] = False # 解决负号不显示的问题
# Sigmoid函数的实现
def Sigmoid(x):
return 1 / (1 + np.exp(-x))
x_data = np.arange(-5.0, 5.0, 0.1)
y_data = Sigmoid(x_data)
plt.figure(figsize=(6, 4))
plt.plot(x_data, y_data, 'r')
plt.ylim(-0.1, 1.1)
plt.title('Sigmoid函数')
plt.show()
3.阶跃函数与Sigmoid函数的比较
1).图像示意图：
2).图像描述：
①.平滑度不同：阶跃函数是急剧变化的，Sigmoid函数是连续性变化的
②.返回值不同：阶跃函数只能返回0或1，Sigmoid函数返回与函数相关的一系列实数
4.ReLU函数
1).函数：
2).图像
3).实现：
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 解决中文乱码
plt.rcParams['axes.unicode_minus'] = False # 解决负号不显示的问题
# ReLU函数的实现
def ReLU(x):
return np.maximum(0, x)
x_data = np.arange(-5.0, 5.0, 0.1)
y_data2 = ReLU(x_data)
plt.figure(figsize=(6, 4))
plt.plot(x_data, y_data2, 'r')
plt.title('ReLU函数')
plt.show()