PyTorch-Activation激活函数

PyTorch-Activation激活函数

硬件：NVIDIA-GTX1080

软件：Windows7、python3.6.5、pytorch-gpu-0.4.1

一、基础知识

1、激活函数作用：神经网络可以描述非线性问题

2、relu、sigmoid、tanh、softplus

二、代码展示

import torch
import torch.nn.functional as Func     # 激励函数都在这
from torch.autograd import Variable
import matplotlib.pyplot as plt 

# 做一些假数据来观看图像
x = torch.linspace(-5, 5, 200)  # x data (tensor), shape=(100, 1)
x = Variable(x)

x_np = x.data.numpy()   # x.data 为 tensor 结构，换成 numpy array, 出图时用

# 几种常用的 激励函数
y_relu = Func.relu(x).data.numpy()
y_sigmoid = Func.sigmoid(x).data.numpy()
y_tanh = Func.tanh(x).data.numpy()
y_softplus = Func.softplus(x).data.numpy()
# y_softmax = Func.softmax(x)  softmax 比较特殊, 不能直接显示, 不过他是关于概率的, 用于分类

plt.figure(1, figsize=(8, 6))
plt.subplot(221)
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')

plt.subplot(222)
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')

plt.subplot(223)
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')

plt.subplot(224)
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')

plt.show()

三、结果展示

四、参考：

https://morvanzhou.github.io/

 

任何问题请加唯一QQ2258205918（名称samylee）！