一文读懂机器学习需要哪些数学知识(附全套优秀课程的网盘链接资源)

运筹优化博士，只做原创博文。更多关于运筹学，优化理论，数据科学领域的内容，欢迎关注我的知乎账号：https://www.zhihu.com/people/wen-yu-zhi-37

0.前言

本篇文章想要说明的是数学并非认识世界的唯一途径，即使数学水平不高的你同样也可以开展机器学习方面的工作和研究。但是不可否认数学是自然科学领域探究真理的有效工具，有了强大的数学背景知识会让你看待问题更加深刻，这就是我们经常会看到很多大牛们都是出身数学专业。另外本文所列举的课程比较多，要想一下子去穷尽所有课程显然也不现实，大可不必打好所有的数学基础再去学机器学习，最好的做法是当你对机器学习本身的理解达到一定瓶颈的时候，你可以补一补一些相关的数学基础之后再回去看机器学习的问题也许会更快的有所突破。所以本文针对不同学习基础的朋友们，划分入门和中级2个学习阶段，供大家在学习中进一步去取舍。

1.入门基础

1.1 微积分（求导，极限，极值）

例如传统的BP神经网络的训练算法实际上是基于复合函数求导的链式法则，又比如目前多数的监督学习训练算法都基于极大似然估计，而极大似然估计的求解往往涉及求导，求极值的内容。

微积分是最基础的数学内容了，平时我们接触的用的也是最多的，微积分的教材和课程也是多如牛毛，我也就不推荐特别正式的课程了，仅仅推荐一个 Essence of calculus，作者以拉风的动画，深入的理解带你回顾一下微积分的关键概念。

1.2 线性代数

线性代数（矩阵表示、矩阵运算、特征根、特征向量）是基础中的基础，主成分分析（PCA）、奇异值分解（SVD）、矩阵的特征分解、LU 分解、QR 分解、对称矩阵、正交化和正交归一化、矩阵运算、投影、特征值和特征向量、向量空间和范数（Norms），这些都是理解机器学习中基本概念的基础。某篇图像分割1w+引用的神文核心思想便就求解构造矩阵的特征向量。

国内的线性代数教材偏重于计算而忽视了线性空间，特征值等基本概念阐述。我个人也是在接触机器学习的内容后发现自己的线性代数基础并不牢固，下决心恶补线性代数，下面我推荐几个课程。

线性代数课程首推 MIT的 Gilbert Strang老爷子的课程。第一次听老爷子的课程，看到矩阵乘法竟然有四种理解方式的时候着实是惊呆了，原来线性代数可以这么美。看到SVD分解的时候马上就能感觉到SVD分解能在很多场景排上大用场。同时该课程深入浅出，相信一般本科生都可以看懂。课程链接如下：Video Lectures | Linear Algebra | Mathematics | MIT OpenCourseWare

3Blue1Brown的 Essence of linear algebra 以非常直观的角度审视了线性代数的重要概念，直观但不失深刻，配合上高大上的动画效果，让人体会到了大道至简的感觉。一共15个视频，每段视频大约十分钟左右，花费不了多少时间就能看完。

1.3 编程语言

数据处理当然需要编程了，因此C/C++/Python任选一门（推荐Python，因为目前很多库和Library都是用Python封装），数据结构可以学学，让你编程更顺手更高效，但是编程不是数据处理的核心。熟练使用Matlab或者Python调用opencv库是必要条件，但是again他们只是工具，业余时间自学，多练练就没问题。有同学问用R行不行，补充一点，用什么编程语言很大部分取决于你的核心算法会调用什么已有的库函数，比如楼主的科研里面核心算法往往是MIP（混合整数规划）问题需要调用Cplex或Gurobi库函数，因此C/C++/Python/Java这些和Cplex接口良好的语言都可以拿来用，这时候R就别想了。(更新：最新Gurobi版本支持R)

另外虽然图像处理界一些open-source的code都用C++写的，但是鉴于使用方便都会提供Python的接口，因此需要用到这些code的话，用Python调用比较方便；但是，如果是高阶骨灰级玩家，需要修改甚至自己写源代码，那么还是推荐C/C++，因为他们的速度最快。

我个人用的比较多的是C++和Python，因此下面推荐二个课程，

C++我觉得coursera上的 C++程序设计 就很好，适合有C语言基础的人去进一步学习。国内多数工科出身的非计算机软件专业的学生一般都只学过C语言，而C语言本身的风格比较“硬”，从C语言转到面向对象的程序设计，需要有一个思想上的适应过程。
优达学城上的 计算机科学导论 是一门零基础的Python入门课程。该课程的特点是深入浅出的授课方式，在讲解Python语法的同时背后潜移默化的传递着程序设计的思想，包括数据结构，代码风格，Debug的小技巧。课程中间还穿插入一些对大牛的采访，大大提高了课程丰富性。
最后说一下C++的经典教材C++ prime plus，该书的厚度达到了一个很厚的境界，初学者基本不可能从头看到尾，更倾向于本书是一个字典式的查询式的书籍，需要的时候读其中1-2章节。套用一句经典语：不要想着一下子掌握一门编程语言的所有特性。

1.4 算法（数据结构）

算法类的课程我推荐coursera上面的 Algorithms, 这个课程分为part1 和 part2两部分。该课程基于Java语言，个人觉得熟悉任何一门面向对象的语言（例如：C++)也不妨碍对该课程的学习。对于非CS出身的同学，该课程有相当的难度，课件的动画非常赞能够帮助你很形象的去理解各种算法，同时对算法的理论分析也有相当的深度（如果对理论的推导不感兴趣可以跳过，先暂时直接记住结论也行）。

1.5 矩阵求导

这里把矩阵求导单独拎出来貌似是有点突兀了，因为矩阵求导和前四块内容比起来根本不是一个层次上的。我个人在开始学习机器学习的过程对矩阵求导产生了极大的疑惑，后来发现有类似疑惑的同学也不少，同时由于矩阵求导貌似是一个三不管的地带，微积分里的多元函数求导貌似是讲了点，矩阵分析可能也有涉及到的，但是缺乏一个统一的理论。很多监督学习的问题多半是一个极大似然估计问题，而这个极大似然估计问题多半是一个优化问题，而这个优化问题的求解多半依赖于矩阵求导得到最优解，最典型的例子就是逻辑回归了。下面推荐1个矩阵求导的材料供大家参考：The Matrix Cookbook.

2.中级教程

2.1 概率论+统计

可以毫不夸张的说，概率论+统计是机器学习的核心数学理论，前面提到的微积分和线性代数实际上是扮演打工仔的角色。进一步说大多数情况下，我们会依据概率论+统计推到出一个机器学习模型或者算法，而最终的计算过程往往要依赖微积分和线性代数。所以如果你仅仅是实现一个机器学习算法，那么掌握初级教程里边提到的微积分和线性代数就足够了，如果你想进一步探究机器学习算法为什么是这样的，你想解释机器学习模型为什么好用或者不好用，就需要概率论+统计的知识。

实话说概率统计的课程和教材看过不少，至今对概率统计的理解仍然不够。相信绝大多数工科生在本科都学过概率论与数理统计这门课，但是很多教材未能体现出概率真正的思想，名为概率论实际上改名叫做“各种概率分布的介绍”更为妥当，基本上这类教材的节奏都一样先介绍一种分布，然后开始求期望，求方差，求条件分布，各种微积分或组合数的运算啊。经过多年的摸爬滚打的经验，我推荐下面两门课程。

一个是MIT的概率系统分析与应用概率 Probabilistic Systems Analysis and Applied Probability，这个是课程主页，课程视频相关资料和教材都有。这门课的主要教材是introduction to probability，作者是Dimitri P. Bertsekas，作者以幽默的语言去诠释概率论，这一点是非吸引人的。

国内也有一个不错的教材，就是陈希儒的概率论与数理统计，该教材最经典的莫过于，用一个时间段内某个路口发生交通事故的实例去解释泊松分布为啥是这个长这个样子，力图告诉你分布背后的故事，而不是拘泥于计算。该课程也有网络视频课程不熟悉英文课程的同学也可参考 中科大 概率论与数理统计

2.2 凸优化 + 数值优化

凸优化自然是首推Stephen Boyd 和 Lieven Vandenberghe的 教材 Convex optimization 与该教材对应的斯坦福的课程为 Convex optimization。该书分为三部分，理论（主要介绍凸集，凸函数，凸优化等等概念），应用（凸优化在各种问题上的应用，只有真正的做过这些应用问题才能对这一章感悟很深），算法（这部分相对来说比较普通）。本人在博士一年级的时候购买了该书的纸质版，目前这本书已经快被翻烂了，每次看这本书都有新的感悟，尤其是应用这个部分。初学者建议先可以放一放应用这个部分，把理论部分啃下来，然后看看算法这部分。

Numerical optimization 的主要内容是 基于梯度的优化算法，线搜索方法，线性规划，可微的非线性规划问题。这里推荐Jorge Nocedal和Stephen J.Wright的 Numerical optimization 与该教材对应的课程为 Numerical optimization。该教材的特点是基本上把最常见的优化问题都覆盖了，同时完全可以感受到虽然是优化教材但是其思想很计算机，作者总是会用一些小技巧来千方百计的降低算法的计算量（就像数据结构里边的算法一样）。不同于上面那本凸优化书理论气息过于严重，本书的作者基本上是以算法为核心（虽然数学理论证明也一点不少），算法伪代码很多，如果会一门编程语言的同学马上就可以去实践了。初学者可以适当抛开部分数学理论证明，更多的放到理解算法Motivation上去，同时亲自去实践这些算法会更好一些。

3.总结

经过楼主殚精竭虑的整理，以上优秀课程的全套网盘链接资源（包括视频，英文字幕，课件，参考书籍等等），您可以轻松获得。配合本人上面所述的亲身学习经历，相信您可以选择出合适自己的课程开始学习的征途。

想要获取资源欢迎私信。下图是网盘资源预览（包含上面所提到的所以资料，除此而外还有三门机器学习课程的视频）：