到底什么是线性函数,什么是非线性函数

线性函数
线性函数就是指数学中那些线性的函数,但也常用于一次函数的别称。
注意:一次函数不一定是线性的(稍后我会提出如何进行区分)

非线性函数
非线性函数是指在数学中函数图像不是一条直线的函数。
非线性函数包括:指数函数、幂函数、对数函数、多项式函数等等基本初等函数

从数学的角度如何区别于什么是线性函数,什么是非线性函数呢?
对于一个函数y=f(x)来说,如果他是有线性的,则必须要满足两个法则:

  1. 比例性
  2. 叠加性

比例性:
对于任意的 a a a,都有 a y = f ( a x ) ay = f(ax) ay=f(ax)成立,即将 x x x扩大 a a a的倍数,随之 y y y也扩大 a a a

叠加性:
y 1 = f ( x 1 ) , y 1 = f ( x 2 ) y_1=f(x_1), y_1=f(x_2) y1=f(x1),y1=f(x2) ( y 1 + y 2 ) = f ( x 1 + x 2 ) (y_1+y_2) = f(x_1 + x_2) (y1+y2)=f(x1+x2)


举个例子:
比如y=x+1就是一条直线,但是塔并不是线性的,即不满足上诉条件,所以并不是所有直线都是线性的。


但是尴尬的问题来了!!!

对于 r e l u relu relu激活函数来说,本身就是一个非线性操作,其操作的对象是线性的函数。。。

所以:对于 y = w x + b y = wx + b y=wx+b这个函数,如果从上面数学的角度分析就出问题了

难道要对非线性函数进行非线性操作???

所以我们暂且就把深度学习的领域和数学领域分开

在深度学习的领域就是将 y = w x + b y = wx + b y=wx+b这个函数作为线性函数处理!!!


你可能感兴趣的:(深度学习)