[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全

作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/119322837


目录

第1部分 函数概述

1.1 函数的定义

1.2 计算机函数与数学函数的异同

1.3 数学函数在深度学习中应用

第2章 常见的初等数学函数

2.1 常数函数

2.2 幂函数

2.3 指数函数

2.4 对数函数

2.5 三角函数

第3章 多项式函数

3.1 零次多项式:常数函数

3.1 一次多项式

3.2 二次多项式

3.3 三次多项式

 3.4 三次多项式函数

第4章 深度学习-神经元的激活函数 

4.0 激活函数的作用

4.1 Sigmoid函数

4.2 tanh函数函数

4.3 Relu函数

4.4 ELU (Exponential Linear Units) 函数

第5章 高等函数-多元函数

5.1 多元函数概述

 5.2 一元一次函数: y = f(x)

5.2 二元一次函数: y = f(x1, x2)

5.3 三元一次函数: y = f(x1, x2, x3)


第1部分 函数概述

1.1 函数的定义

(1)计算机领域

函数是指一段可以直接被另一段程序或代码引用的程序或代码。也叫做子程序。

(2)数学领域

函数是一种关系,是一种映射规则,这种关系使一个集合里的每一个元素对应到另一个(可能相同的)集合里的唯一元素的规则

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第1张图片

1.2 计算机函数与数学函数的异同

(1)相同点

  • 模型相同:输入》处理 =》输出
  • 都是多输入

(2)不同点

  • 内在的处理方法不同

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第2张图片

 计算领域:是逻辑处理

数学领域:是映射规则

  • 输出不同:计算机领域是可以任意个输出变量,数学领域是单一输出变量
  • 工程师的角色不同

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第3张图片

 ​​​​​

1.3 数学函数在深度学习中应用

(1)神经网络的神经元

神经网络的神经元就是一个函数,也就是说,神经网络就是N个输出的N个“函数”。

(2)误差或损失函数loss

误差或损失函数loss就是用函数来表示的,loss函数的输出值y,是神经网络的各个神经元函数的系数的函数。

第2章 常见的初等数学函数

2.1 常数函数

在数学中,常数函数(也称常值函数)是指值不发生改变(即是常数)的函数

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第4张图片

2.2 幂函数

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第5张图片

 [Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第6张图片

2.3 指数函数

指数函数是重要的基本初等函数之一。一般地,y=a^x函数(a为常数且以a>0,a≠1)叫做指数函数,函数的定义域是 R 

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第7张图片

2.4 对数函数

对数函数是以幂(真数)为自变量,指数为因变量,底数为常量的函数。

2.5 三角函数

三角函数是基本初等函数之一是以角度(数学上最常用弧度制,下同)为自变量,角度对应任意角终边与单位圆交点坐标或其比值为因变量的函数。

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第8张图片

 [Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第9张图片

第3章 多项式函数

多项式函数,是数学概念,形如f(x)=an·x^n+an-1·x^(n-1)+…+a2·x^2+a1·x+a0的函数,叫做多项式函数,它是由常数与自变量x经过有限次乘法与加法运算得到的。

很显然,多项式函数是多个幂函数组合而成的函数。

3.1 零次多项式:常数函数

y = a0,形如

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第10张图片

3.1 一次多项式

形如 y=kx+b (k为任意不为0的常数,b为任意常数)的函数叫做一次函数(linear function),也称线性函数,或称为直线函数。

其图像在平面直角坐标系中可以用一条直线表示,当一次函数中的一个变量的值确定时,可以用一元一次方程确定另一个变量的值。

备注:

人工神经元的输入分支:1个一次多项式函数(或直线)

人工神经元整体就是由:N个一次多项式函数的累计和 与 激活函数串联。

人工神经网络就由无数个神经元串联而成 (“一次多项式函数 + 激活函数”)

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第11张图片

 Y = (W1*X1 +  W2*X2 + ..... Wn*Xn) - B。

 其中:

(1)神经元输入分支

Wi:是直线的系数;

Xi:为自变量

Yi:为因变量, Yi = Wi * Xi + Bi

Bi:为系数

(2)神经元综合效果:

B:是所有系数Bi的累计和。

Y: 是所有因变量Yi的累计和; Y = (W1*x1 +  W2*X2 + ..... Wn*Xn) - B。

3.2 二次多项式

(1)二次多项式

一般地,形如y=ax^2+bx+c的函数叫做二次函数(quadratic function)。

二次函数是自变量的最高次数为二次的多项式函数。

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第12张图片

(2)二次多项式在深度学习中的应用

二次多项式被广泛应用于就损失函数loss函数。

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第13张图片

 loss函数的本质是:实际的数据点到拟合线(线段)的距离(这个距离称为误差)的平方之和。

 因此 loss函数本质是一个二次函数,是N元的二次函数,是由N个一元二次函数组合而成。

N元的二次函数在高等函数中再进一步阐述。

3.3 三次多项式

最高次数项为3的函数,形如y=ax³+bx²+cx+d(a,b,c,d为常数,且a不等于0)的函数叫做三次函数(cubic function)。 三次函数的图象是一条曲线——回归式抛物线(不同于普通抛物线)。

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第14张图片

 3.4 三次多项式函数

形如y=ax4+bx3+cx2+dx+e(a≠0,b,c,d,e为常数)的函数叫做四次函数。四次函数的图像成一般W形。

 [Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第15张图片

第4章 深度学习-神经元的激活函数 

4.0 激活函数的作用

(1)限制输出

神经元的一次函数,输入与输出是线性关系,因此输出是无穷大。

为了限制神经元的输出信号的幅度,需要通过某种激活函数对输出信号进行限制。

(2)提高门槛

神经元的一次函数,输入与输出是线性关系,因此输出是任意值。

生物神经元只有在输入信号得到一定的门限时,才会有输出。

为了模拟生物神经元的门槛功能,需要通过某种激活函数来对输出信号的最低值进行限制。

4.1 Sigmoid函数

(1)公式

(2)图形

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第16张图片

(3)特点

  • 无论线性函数的输出是多大,该激活函数把输出限制在(0,1)之间.
  • 如果线性函数的输出值为负无穷时,输出为0;
  • 如果线性函数的输出值为正无穷时,输出为1.
  • 如果线性函数的输出值为0时,输出中值为0.5.
  • 导函数平滑

4.2 tanh函数函数

(1)公式

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第17张图片

 (2)图形

tanh(x)åå¶å¯¼æ°çå ä½å¾å

(3)特点

  • 无论线性函数的输出是多大,该激活函数把输出限制在(-1,1)之间.
  • 如果线性函数的输出值为负无穷时,输出为-1;
  • 如果线性函数的输出值为正无穷时,输出为+1.
  • 如果线性函数的输出值为0时,输出中值为0.
  • 导函数平滑

4.3 Relu函数

(1)公式

(2)图形

è¿éåå¾çæè¿°

(3)特点

  • 无论线性函数的输出是多大,该激活函数把输出限制在(0,+无穷)之间,即把所有的负数都映射成0.
  • 如果线性函数的输出值为负数时,输出为0;限制负数幅度映射为0.
  • 如果线性函数的输出值为正数时,输出等于输入y = x,不限制正数的映射幅度。
  • 如果线性函数的输出值为0时,输出为0.
  • 导函数不平滑

4.4 ELU (Exponential Linear Units) 函数

(1)数学公式

(2)图形表示

è¿éåå¾çæè¿°

(3)特点

  • 当x<0时,采用指数映射,限制负数的幅度。
  • 当x>0时,采用线性映射,不限制正数的幅度。
  • 当x=0是,映射值为0.
  • 导函数不平滑

第5章 高等函数-多元函数

5.1 多元函数概述

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第18张图片

 5.2 一元一次函数: y = f(x)

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第19张图片

5.2 二元一次函数: y = f(x1, x2)

[Python系列-16]:人工智能 - 数学基础 -6- 常见数学函数、激活函数大全_第20张图片

5.3 三元一次函数: y = f(x1, x2, x3)



作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/119322837

你可能感兴趣的:(人工智能-数学基础,人工智能-深度学习,编程-Python系列)