神经网络中的激活函数-tanh

七月 上海  | 高性能计算之GPU CUDA培训

7月27-29日 三天密集式学习  快速带你入门 阅读全文 >

正文共817个字，3张图，预计阅读时间8分钟。

为什么要引入激活函数

如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。

正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。激活函数的作用是为了增加神经网络模型的非线性。否则你想想，没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。所以你没有非线性结构的话，根本就算不上什么神经网络。

tanh的绘制

tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。

公式

其实tanh(x)=2*sigmoid(2*x)-1

特点

• 函数：y=tanh x；

• 定义域：R

• 值域：(-1,1)。

• y=tanh x是一个奇函数，其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间。

图像

Python绘制tanh函数

 1import math
 2import matplotlib.pyplot as plt
 3import numpy as np
 4import matplotlib as mpl
 5
 6
 7def tanh(x):
 8return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
 9
10fig = plt.figure(figsize=(6, 4))
11ax = fig.add_subplot(111)
12
13x = np.linspace(-10, 10)
14y = tanh(x)
15
16
17ax.spines['top'].set_color('none')
18ax.spines['right'].set_color('none')
19
20ax.xaxis.set_ticks_position('bottom')
21ax.spines['bottom'].set_position(('data', 0))
22ax.set_xticks([-10, -5, 0, 5, 10])
23ax.yaxis.set_ticks_position('left')
24ax.spines['left'].set_position(('data', 0))
25ax.set_yticks([-1, -0.5, 0.5, 1])
26
27plt.plot(x, y, label="Sigmoid", color="red")
28plt.legend()
29plt.show()

结果

相关资料

1、python绘制神经网络中的Sigmoid和Tanh激活函数图像(附代码) - CSDN博客；

2、神经网络中的激活函数具体是什么？为什么ReLu要好过于tanh和sigmoid function?搜狐科技搜狐网；

3、Sigmoid和tanh的异同 - CSDN博客；

4、sigmod函数tanh函数ReLU函数 - CSDN博客；

5、tanh_百度百科；

原文链接：https://www.jianshu.com/p/7409c8f1cdca

查阅更为简洁方便的分类文章以及最新的课程、产品信息，请移步至全新呈现的“LeadAI学院官网”：

www.leadai.org

请关注人工智能LeadAI公众号，查看更多专业文章

大家都在看

LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理（一）

最全常见算法工程师面试题目整理（二）

TensorFlow从1到2 | 第三章 深度学习革命的开端：卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础