Python深度学习基础(一)——激活函数的介绍与对比

激活函数的介绍与对比

  • 神经网络与感知机
  • 激活函数
    • 阶跃函数(step_function)
    • sigmoid函数
    • tanh函数
    • relu函数
    • mish函数
    • softmax函数
  • 函数图像对比

神经网络与感知机

感知机即阈值逻辑单元,通过阈值来进行判断类别,神经网络则是多个感知机的集合,可以应用于处理更复杂的问题

激活函数

首先我们来介绍在神经网络网络中的激活函数,激活函数相当于在感知机中设置的阈值,不过感知机中的激活函数使用的是阶跃函数,而在神经网络中这样的激活函数明显是不够的

阶跃函数(step_function)

特征

  • 这是一种类似于感知机中阈值的函数,如果大于0则返回1,小于0则返回0。
  • 取值范围为0或1。由于阶跃函数非0即1。
  • 没有斜率,容易出现梯度消失
    Python深度学习基础(一)——激活函数的介绍与对比_第1张图片

sigmoid函数

公 式 为 : s i g m o i d ( x ) = 1 1 + e − x 公式为:sigmoid(x)=\frac{1}{1+e^{-x}} sigmoid(x)=1+ex1
特征

  • sigmoid的曲线更为平滑,取值返回为0-1。
  • sigmoid函数可以将较大的值放大,较小的值缩小。
  • 值越大放大的越慢,值越小缩小的越慢。
  • 可以同时存在若干较大的值,所以可以用于多标签不互斥分类的输出层
  • 两端斜率越来越小,都存在梯度消失的情况。
    Python深度学习基础(一)——激活函数的介绍与对比_第2张图片

tanh函数

t a n h ( x ) = 2 1 + e − 2 x − 1 tanh(x)=\frac{2}{1+e^{-2x}}-1 tanh(x)=1+e2x21
特征

  • 输出范围为-1~1,特征有正负。
  • 与softmax相似,但tanh常用于隐藏层,而 sigmoid 函数常用于输出层。
    Python深度学习基础(一)——激活函数的介绍与对比_第3张图片

relu函数

特征

  • 小于等于0时返回0,否则返回原值,取值大于等于0。
  • relu只存在线性关系,因此计算速度比sigmoid和tanh更快。
  • 输入为负,梯度消失。真实场景里,更多是学习正特征。
  • 难以解决分类问题,常用于作为中间层(隐藏层)用于提高学习速度。
  • 如果用于输出层则是用于回归问题。
    Python深度学习基础(一)——激活函数的介绍与对比_第4张图片

mish函数

m i s h ( x ) = x ⋅ t a n h ( l n ( 1 + e x ) ) mish(x)=x \cdot tanh(ln(1+e^x)) mish(x)=xtanh(ln(1+ex))
特征

  • mish与relu的图像很相似(注意,这里的类似是基于图像的,与实际的函数无关)
  • 相对于relu函数更加平滑,同时可以取到负值

Python深度学习基础(一)——激活函数的介绍与对比_第5张图片

softmax函数

y = e x p ( a k ) ∑ i = 1 n e x p ( a i ) y = \frac{exp(a_k)}{\sum_{i=1}^{n}exp(ai)} y=i=1nexp(ai)exp(ak)

  • softmax函数产生的数值之和为1,常用来表示概率。
  • 将所有输入归一化到0-1之间,不存在负值,同时放大最大的值,抑制最小的值。
  • 常用作互斥多分类的输出层

Python深度学习基础(一)——激活函数的介绍与对比_第6张图片

函数图像对比

Python深度学习基础(一)——激活函数的介绍与对比_第7张图片

画图代码实现如下

import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

def step_function(x):
    return np.array(x > 0, dtype=np.int)

def sigmoid(x):
    return 1 / (1 + np.e ** (-x))

def relu(x):
    x[x<=0] = 0
    return x
def softmax(x):
    return np.e ** x / np.sum(np.e ** x)

def mish(x):
    return x * np.tanh(np.log(1+np.e ** x))

def tanh(x):
    return 2 / (1 + np.exp(-2 * x)) - 1

x = np.linspace(-10, 10, 100)
plt.plot(x, step_function(x.copy()), label='step_function')
plt.plot(x, sigmoid(x.copy()), label='sigmoid')
plt.plot(x, relu(x.copy()), label='relu')
plt.plot(x, softmax(x.copy()), label='softmax')
plt.plot(x, mish(x.copy()), label='mish')
plt.plot(x, tanh(x.copy()), label='tanh')
plt.title("激活函数")
plt.legend()
plt.savefig("激活函数.png")
plt.show()

你可能感兴趣的:(深度学习方法,神经网络,python,深度学习,激活函数)