机器学习中的数学-微积分和梯度

原创文章,如需转载请保留出处
本博客为七月在线邹博老师机器学习数学课程学习笔记

机器学习中的数学主要涉及以下几类，本文会依次更新对数学的理解。

• 微积分、梯度和Jensen不等式
• Taylor展开及其应用
• 常见概率分布和推导
• 指数族分布
• 共轭分布
• 统计量
• 距估计与最大似然估计
• 区间估计
• Jacobi矩阵
• 解密矩阵乘法
• 矩阵分解RQ和SVD
• 对称矩阵
• 凸优化

本节主要内容：

1.常数e的计算过程
2.常见函数的导数
3.分部积分法及其应用
4.梯度 - 上升/下降最快方向
5.凸函数- Jensen不等式

一.回忆知识
1.1 求S的值：

根据两边夹定理解决：

1.2 极限：
x为AB的弧
由于sin x小于线段AB，线段AB小于弧AB，所以sin x小于弧AB。
由于三角形OBC面积小于三角形OAD面积，所以弧AB小于AD。

1.3 极限存在定理
单调有界数列必有极限

求下列极限

解：

牛顿二项展开：

根据上面确定极限存在，且记为e。

接下来推导出确定是e：

二.导数
2.1 导数定义
导数就是曲线的斜率，是曲线变化快慢的反应
二阶导数是斜率变化快慢的反应，表征曲线凸凹性

1. 二阶导数连续的曲线，往往称之为“光顺”的
2. 加速度的方向总是指向轨迹曲线凹的一侧

2.2 分布积分

2.3 微分应用
2.3.1 求最小值

解：

2.3.2 求值

解：

2.3.3 导数和微分的区别
导数是函数图像在某一点处的斜率，也就是纵坐标增量（Δy）和横坐标增量（Δx）在Δx–>0时的比值。微分是指函数图像在某一点处的切线在横坐标取得增量Δx以后，纵坐标取得的增量，一般表示为dy。
导数是函数图像在某一点处的斜率，也就是纵坐标变化率和横坐标变化率的比值。微分是指函数图像在某一点处的切线在横坐标取得Δx以后，纵坐标取得的增量。

2.3.4 导数和偏导数的区别

• 2.3.4.1 定义不同
  导数，是对含有一个自变量的函数进行求导。
  偏导数，是对含有两个自变量的函数中的一个自变量求导。
• 2.3.4.2 几何意义不同
  函数y=f（x）在x0点的导数f’（x0）的几何意义：表示函数曲线在点P0（x0,f（x0））处的切线的斜率（导数的几何意义是该函数曲线在这一点上的切线斜率）。
  偏导数 f’x(x0,y0) 表示固定面上一点对 x 轴的切线斜率；偏导数 f’y(x0,y0) 表示固定面上一点对 y 轴的切线斜率。

2.4 方向导数
如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：

其中，α为x轴到方向L的转角。

2.5 梯度
2.5.1 设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)∈D，向量

为函数z=f(x,y)在点P的梯度，记作gradf(x,y)
2.5.2 梯度的方向是函数在该点变化最快的方向
2.5.3 梯度下降法

三.凸函数
3.1 定义


3.2 一阶可微

3.3 二阶可微

3.4 Jensen不等式
如果f是凸函数，X是随机变量，那么



Jensen不等式是几乎所有不等式的基础