七月算法深度学习 第三期 学习笔记-第一节 数学基础

深度学习数学基础：

需要掌握四板块数学：

1.微积分： 极限 微分与泰勒级数 积分与微积分基本定理 牛顿法

微分学的核心思想是逼近。

一元微分学顶峰-泰勒级数：

牛顿-莱布尼茨：在一定程度上微分与积分互运算。

参考资料与作业：

2.概率统计：概率与积分 条件概率与贝叶斯公式 大数定律与中心极限定理 矩估计与极大拟然估计

对于离散随机变量，概率为概率函数求和。

贝叶斯公式：

大数定律与中心极限定理：随机变量的矩：矩可以描述随机变量一些特征，期望是“中心”位置一种描述，方差可以描述期望的分散程度，特征函数可以全面描述概率分布。

点估计-极大拟然估计：给定随机变量的分布与未知参数，利用观测到样本计算拟然函数；选择最大化拟然函数的参数作为参数估计量。

点估计的评判准则：相合性 无偏性 有效性 渐进正态性。

参考资料与作业：

3.线性代数：线性映射与矩阵 矩阵变换与特征值 奇异值分解 PCA （所谓大数据：数据量大，且维度高 线性代数专注如何去噪音）

线性空间：有原点的平面，原点O在空间中引入线性结构

基：线性空间中的一组向量，使任何向量都可谓一表示成该基的线性组合。（坐标系）

线性映射与矩阵：

相似变换：把矩阵看作线性映射

相似不变量

相似变换 正交相似变换

SVD：

应用举例-PCA降维（主成分分析）：用作降维、可起到分类作用，比较广泛应用于图像识别，文档处理，推荐系统

PCA方式：1）首先计算变量之间的协方差矩阵 Σ(利用样本)  2）找到 Σ 的正交相似标准型 *正交相似标准性的求解由计算机完成，我们主要关心他的几何意义

参考资料和作业：

4.凸优化： 优化与凸优化 凸集与凸函数 对偶问题与KKT条件 SVM最简单形式 （凸优化的学习是为了针对机器学习中训练模型中的参数优化，例：梯度下降）

凸优化：1）凸优化问题逼近非凸优化问题，寻找非凸问题的初始点 2）利用对偶问题的凸性给原问题提供下界估计 3）凸优化问题可以给非凸问题带来一些启发

举例：

凸集合定义 凸函数定义

函数的上境图：假设 f 是一个定义在 Ω 上的函数，区域{(x, y) : y ≥ f(x), ∀x ∈ Ω} 就是 f 的上境图. 上境图就是函数图像上方的部分区域

一个函数是凸函数当且仅当 f 的上境图是凸集合

凸组合：

凸函数性质：

任意多个凸函数的逐点上确界仍是凸函数.
固定一个凸函数的若干个变量，所得的函数仍然是凸函数
凸函数的 sublevel set 都是凸集合.

琴生不等式

凸集合性质：任意多个凸集合的交集仍是凸集合

凸集分离定理 拉格朗日对偶函数

弱对偶性：d∗ ≤ p∗

强对偶性：d∗ = p∗ 强对偶性不总成立

强对偶性条件：如果存在一个可行域中的点 x 使得 fi(x) < 0, i = 1, · · · , m, 那么这个凸优化问题就满足强对偶条件

凸优化问题求解（KKT）

应用举例-支持向量机SVM：

参考资料和作业：