Chapter1极限、导数、凸函数

目录

一.O(n)和o(n)

二.极限

三.求导定义

四.求导方法

五.导数的应用:费马定理

六.导数的应用:函数逼近

七.导数的应用:泰勒展开

八.凸函数


一.O(n)和o(n)

1.f(x)=O(g(x)),其中O指的是Order阶。多项式阶——x^{^{2}}+x+1为2项阶

O(n)\exists x_{0},M使得当x\geq x_{0}时,f(x)\leq Mg(x),其中M是常数

举例一:f(x)=2x^{2}=O(x^{2}),g(x)=x^{2},令M=2,x_{0}为任意常数,使得当x\geq x_{0}时,总有f(x)=2x^{2}\leq 2(x^{2})成立。

举例二:f(x)=x^{2}+x+1=O(x^{2}),g(x)=x^{2},令M=2,x_{0}=10,使得当x\geq 10时,总有f(x)=x^{2}+x+1\leq 2(x^{2})成立。

2.f(x)=o(g(x)),指的是f(x)的阶是严格小于g(x)的阶的。(与极限相关)

o(n)\forall \varepsilon ,\exists x_{0}使得当x\geq x_{0}时,f(x)\leq \varepsilon g(x)

举例一:f(x)=x=o(x^{2}),g(x)=x^{2},当\varepsilon10^{-2}时,令x_{0}=10^{2},当x\geq 10^{2}时,总有f(x)=x\leq 10^{-2}(x^{2})

举例二:f(x)=x^{2}+x+1=o(x^{3}),g(x)=x^{3},当\varepsilon10^{-2}时,令x_{0}=10^{3},当x> 10^{3}时,总有f(x)=x^{2}+x+1\leq 10^{-2}x^{3}

二.极限

1.对\forall \varepsilon > 0\exists x_{0},使得当x> x_{0}时,有\frac{f(x)}{g(x)}< \varepsilon,所以当x\rightarrow \infty,有\frac{f(x)}{g(x)}\rightarrow 0,即f(x)< \varepsilon g(x),其中f(x)=o(g(x))  (即上面的o(n))

2.对\forall \varepsilon > 0\exists \delta,使得当\mid x-x_{1} \mid < \delta时,有\mid f(x)-y_{1}\mid < \varepsilon,所以当x\rightarrow x_{1},有f(x)\rightarrow y_{1}

三.求导定义

求导就是当x_{1}\rightarrow x_{0}时,求解\frac{f(x_{1})-f(x_{0})}{x_{1}-x_{0}}的变化情况,即f^{'}(x)=\lim_{x\rightarrow x_{0}}\frac{f(x_{1})-f(x_{0})}{x_{1}-x_{0}}

举例:y=x^{2},求在x=1处的导就是y^{'}=\lim_{x\rightarrow 1}\frac{x^{2}-1}{x-1}=\lim_{x\rightarrow 1}\frac{(x-1)(x+1)}{x-1}=2

ps:python中有一个包为SymPy,可做符号计算

Derivative Calculator • With Steps! (derivative-calculator.net) 导数表:可进行导数计算

四.求导方法

生成新的导数的方法:

+:(f(x)+g(x))^{'}=f^{'}(x)+g^{'}(x)

-:(f(x)-g(x))^{'}=f^{'}(x)-g^{'}(x)

×:(f(x)\times g(x))^{'}=f^{'}(x)g(x)+f(x)g^{'}(x)

÷:(\frac{f(x)}{g(x)})^{'}=\frac{f^{'}(x)g(x)-f(x)g^{'}(x)}{g^{2}(x)}

复合函数:[f(g(x))]^{'}=f^{'}(g(x))\times g^{'}(x)  (链式法则,用于神经网络之中)

五.导数的应用:费马定理

对于x\epsilon \mho (x_{0},\delta ),若f(x)\leq f(x_{0}),称x_{0}为极大值点,若f(x)\geq f(x_{0}),称x_{0}为极小值点。

六.导数的应用:函数逼近

f(x)=f(x_{0})+f^{'}(x_{0})(x-x_{0})

Rolle中值定理:当f(x)[x_{1},x_{2}]内连续,(x_{1},x_{2})内可导,且f(x_{1})=f(x_{2})=0,则至少\exists一点x_{0}\epsilon (x_{1},x_{2}),使得f^{'}(x_{0})=0

Lagrange中值定理:当f(x)[x_{1},x_{2}]内连续,(x_{1},x_{2})内可导,则至少\exists一点x_{0}\epsilon (x_{1},x_{2}),使得f^{'}(x_{0})=\frac{f(x_{2})-f(x_{1})}{x_{2}-x_{1}}。其证明是构造函数g(x)=f(x)-f(x_{2})-\frac{x-x_{1}}{x_{2}-x_{1}}(f(x_{2})-f(x_{1})),所以利用Rolle中值定理,g(x_{1})=g(x_{2})=0,即可证明。

七.导数的应用:泰勒展开

洛必达法则:当x\rightarrow x_{0}时,f(x)\rightarrow 0,g(x)\rightarrow 0,则\lim_{x\rightarrow x_{0}}\frac{f(x)}{g(x)}=\lim_{x\rightarrow x_{0}}\frac{f^{'}(x)}{g^{'}(x)}

所以,\lim_{x-x_{0}}\frac{f(x)-f(x_{0})-(x-x_{0})f^{'}(x_{0})}{x-x_{0}}=0,证明是根据洛必达法则,分子分母分别求导得:\lim_{x\rightarrow x_{0}}\frac{f^{'}(x)-f^{'}(x_{0})}{1}=0

泰勒展开:

f(x)=f(x_{0})+(x-x_{0})f^{'}(x_{0})+(x-x_{0})^{2}\frac{f^{''}(x_{0})}{2!}+\cdots +(x-x_{0})^{n}\frac{f^{(n)}(x_{0})}{n!}+o((x-x_{0})^{n})

八.凸函数

Chapter1极限、导数、凸函数_第1张图片

 下凸函数:如果二阶导数存在,且f^{''}(x)> 0,则函数为下凸函数,亦称“凸函数”。

上凸函数:如果二阶函数存在,且f^{''}(x)< 0,则函数为上凸函数。

对于下凸函数:

Chapter1极限、导数、凸函数_第2张图片

\theta \epsilon [0,1],令某横坐标为x_{0}=a+\theta (b-a)\epsilon [a,b],则直线l上其纵坐标为y_{x_{0}}=f(a)+\theta (f(b)-f(a)),函数上其纵坐标为f(x_{0})=f(a+\theta (b-a))。则y_{x_{0}}\geq f(x_{0})

Chapter1极限、导数、凸函数_第3张图片

 f^{''}(c)=\lim_{e\rightarrow c}\frac{f^{'}(e)-f^{'}(c)}{e-c}\geq 0,其中f^{'}(e)=\lim_{b\rightarrow c}\frac{f(b)-f(c)}{b-c}f^{'}(c)=\lim_{a\rightarrow c}\frac{f(a)-f(c)}{a-c}

由于e-c\geq 0,所以要想证明二阶导数大于等于0,就要证明f^{'}(e)-f^{'}(c)\geq 0,即证明f=\frac{f(b)-f(c)}{b-c}-\frac{f(a)-f(c)}{a-c}\geq 0

证明如下:令c=a+\theta (b-a),所以f=\frac{f(b)-f(c)}{(1-\theta )(b-a)}-\frac{f(c)-f(a)}{\theta (b-a)}=\frac{\theta f(b)-\theta f(c)-(1-\theta )(f(c)-f(a))}{\theta (1-\theta )(b-a)}=\frac{(1-\theta )f(a)+\theta f(b)-f(c)}{\theta (1-\theta )(b-a)}=\frac{y_{x_{0}}-f(x_{0})}{\theta (1-\theta )(b-a)}

因为0< \theta < 1,a< b,所以分母大于0。又y_{x_{0}}\geq f(x_{0}),所以分子大于等于0。综上:f^{''}(c)\geq 0

你可能感兴趣的:(数学基础,机器学习,大数据)