机器学习之数学基础(1)——微积分

前言：
没想到还能在此生再次用到大学中学习的高数，线性代数和概率论，如果上天给我再来一次的机会，我一定往死了学习这三门课。

• 观点

与机器学习相关的微积分的核心问题是极值问题
核心技能是偏导数和梯度

• 函数

定义如下：
对数集A施加一个对应的映射f，记做:f(A)得到数集B，记为函数：B=f(A)
这是我们中学学的最多的，常用的函数有：

image.png

• 从极限到导数

• 数列极限
  给定一列数（从x1到xn），n为无穷大，常数a，假如随便取一个无限小的数b，无论n取多大总有xn-a
  

  

  image.png
• 函数极限
  与数列不同的是函数可以取在某个点的极限，即左极限和右极限（一元函数），
  假如再高元函数在某个点的极限为面，空间、、、后面常见的三元函数的在某一点的方向导数（导数即为极限），便取最大定义了这点的梯度

• 两个重要极限

  
  
  

  image.png
  

  image.png

• 导数

  
  
  

  image.png

• 导数的应用

• 1
  通过函数的导数的值，可以判断出函数的单调性、驻点以及极值点：
  若导数大于0，则单调递增；若导数小于0，则单调递减；导数等于零d 的点为函数驻点
  定理(凹凸判定法) ：f(x)在区间I上有二阶导数
  (1) 在 I 内，f''(x)>0 则 在 I 内图形是凹的 ;
  (2) 在 I 内 ，f"(x)<0 则 在 I 内图形是凸的 .
  设函数 f(x) 在它的驻点x=0 处二阶可导,则 :

  
  
  

  image.png

• 2
  在某点的函数用常见函数表现

  
  
  

  image.png

• 偏导数

一元函数为导数，多元为偏导数，把其他变量当做常量求导

image.png

• 高阶偏导

  
  
  

  image.png

• 从方向导数到梯度

• 方向导数

  
  
  

  image.png
  
  

  p的值为三维空间两点之间的距离
  可以证明：

  
  
  

  image.png
• 梯度
  
  

  image.png
  
  
  

  image.png
  
  后记：
  细细整理，在做补充
  你可能感冒的文章：
  我的机器学习pandas篇
  我的机器学习matplotlib篇
  我的机器学习numpy篇