（matlab实现）sigmoid函数和tanh函数以及ReLU函数

1. logsig函数即是logistic Regression（逻辑回归）中的sigmoid函数。

logsig函数表达式为：

matlab实现：

figure('NumberTitle', 'off', 'Name', 'Sigmoid函数');
x=-10:0.1:10;
y= 1 ./ (1 + exp(-x));
plot(x,y);
xlabel('X轴');ylabel('Y轴');%坐标轴表示对象标签
grid on;%显示网格线
axis on;%显示坐标轴
axis([-8,8,0,1]);%x,y的范围限制
title('Sigmoid函数');

笛卡尔坐标图（直角坐标）：

 

2. tansig(tanh)函数表达式：

matlab实现：

figure('NumberTitle', 'off', 'Name', 'Tanh函数');
x=-5:0.1:5;
y=2./(1+exp(-2*x))-1;
plot(x,y);
xlabel('X轴');ylabel('Y轴');%坐标轴表示对象标签
grid on;%显示网格线
axis on;%显示坐标轴
axis([-5,5,-1,1]);%x,y的范围限制
title('Tanh函数');

笛卡尔坐标图：

3. ReLU激活函数ReLU = max(0, x);

源码;

figure('NumberTitle', 'off', 'Name', 'ReLU函数');
x=-5:0.1:5;
y=max(0,x);
plot(x,y);
xlabel('X轴');ylabel('Y轴');%坐标轴表示对象标签
grid on;%显示网格线
axis on;%显示坐标轴
axis([-5,5,-5,5]);%x,y的范围限制
title('ReLU函数');