AI学习者必备 | 圣母大学公开统计计算课程讲义（视频+PPT+作业）

翻译 | AI科技大本营（rgznai100）

参与 | 刘畅

近日，圣母大学(University of Notre Dame)公开了一门统计学课程资源，包括：课程笔记和授课视频，课后作业（以及解决方案）以及课程信息和参考以及课程大纲。

这份资源非常丰富，但从营长以往推荐的文章和资源看，大家可真不待见“统计”这个词，从字面上看，它太无聊了，但它对很多机器学习的应用领域又是必不可少的，所以营长这次还是推荐给大家。

1.统计计算和概率统计简介

课程介绍：该部分包括课程，书籍和参考资料，目标，组织的介绍；概率统计学，概率法则，独立性，协方差，相关性等的基本原理; 和与乘的规则，边缘分布和条件分布; 随机变量，矩，离散和连续分布; 单变量高斯分布。

视频地址：

https://youtu.be/YTBFSmExXRc

课程笔记：

https://www.dropbox.com/s/121sglcweantr2d/Lec1-IntroToProbabilityAndStatistics.pdf?dl=0

2.概率统计概论简介（续）

二项式分布，伯努利分布，多项式分布，泊松分布，学生T分布，拉普拉斯分布，伽玛分布，贝塔分布，帕累托分布，多元高斯和狄利克雷分布; 联合概率分布; 随机变量的变换; 中心极限定理和基本的蒙特卡罗近似法则; 概率不等式; 信息理论综述，KL散度，熵，互信息，詹森不等式。

视频地址：

https://youtu.be/yNq91ISWHiw

课程笔记：

https://www.dropbox.com/s/f10vs0qrkh7428a/Lec2-IntroToProbabilityAndStatistics.pdf?dl=0

 

3.信息理论，多元高斯，最大似然估计，Robbins-Monro算法

信息理论，KL散度，熵，互信息，詹森不等式（续）; 中心极限定理的例子，检查数据集的高斯性质; 多元高斯，马氏距离，几何解释; 单变量和多变量的高斯连续最大似然估计; 连续最大似然估计，用于连续最大似然估计的Robbins-Monro算法。

视频地址：

https://youtu.be/2wrgRUQpW5E

课程笔记：

https://www.dropbox.com/s/q23vr7ok2nkc2gg/Lec3-InfoTheory-CLTApplications-MLE.pdf?dl=0

4.用于连续最大似然的Robbins-Monro算法，维数灾难，条件和边缘高斯分布

高斯Robbins-Monro算法的连续最大似然估计（续）; 回到多元高斯，马氏距离，几何解释，均值和矩，限制形式; 维数灾难，高维的多项式回归中的挑战，高维的球体和超立方体的体积/面积，高维的高斯分布; 条件和边缘高斯分布，配方法，伍德伯里矩阵求逆引理，内插无噪数据和数据插补的例子，高斯的信息形式。

视频地址：

https://youtu.be/Ioz7H9ofSng

课程笔记：

https://www.dropbox.com/s/j54clc30s2nthm5/Lec4-RobbinsMonro-CurseOfDimensionality-ConditionalGaussians.pdf?dl=0

 

5.似然计算，最大后验估计和正则化式的最小二乘，线性高斯模型

高斯的信息形式（续）; 贝叶斯推断和似然函数计算，加法和乘法误差; 最大后验估计和正则化式的最小二乘法; 用高斯先验估计高斯的均值; 传感器融合的应用; 先验平滑和内插噪声数据。

视频地址：

https://youtu.be/vxUP5QJYkoQ

课程笔记：

ttps://www.dropbox.com/s/5wethziitk5wzmk/Lec5-Likelihood-MAP-GaussianLinearSystems.pdf?dl=0

6.贝叶斯统计学简介，指数族分布

参数化建模，充分性原则，可能性原则，停止规则，条件性原则，p值和频率统计问题，最大似然估计以及可能性和条件性原则; 贝叶斯背景中的推论，后验和预测分布，最大后验估计，迹，贝叶斯推理的序列性质，例子; 指数分布族，例子，计算矩，填充和Neymann因式分解，充分统计量和最大似然估计。

视频地址：

https://youtu.be/3HfwQkiWSOU

课程笔记：

https://www.dropbox.com/s/ggwvlumy240o6fk/Lec6-Intro2BayesianStatisticsAndTheExponentialFamily.pdf?dl=0

7.指数族分布和广义线性模型，多元高斯分布的贝叶斯推断

指数族分布，计算矩，Neymann因式分解，充分统计量和最大似然估计（续）; 广义线性模型，规范响应，批处理和顺序IRLS算法; 对多元高斯分布，Wishart分布和逆Wishart分布，最大后验估计和后边缘分布的均值和方差/精度进行贝叶斯推断。

视频地址：

https://youtu.be/vxUP5QJYkoQ

课程笔记：

https://www.dropbox.com/s/q31dbbt01wqa071/Lec7-ExponentialFamilyGLMBayesianInf4MultivariateGaussian.pdf?dl=0

8.先验和分层模型

共轭前体（续）和局限性，共轭先验的混合; 非信息先验，最大熵先验; 迁移和尺度不变的先验; 非正常先验; 杰弗里先验; 分层贝叶斯模型和经验贝叶斯/第二类最大似然斯坦因估计。

视频地址：

https://youtu.be/HVHKbH0nvbw

课程笔记：

https://www.dropbox.com/s/y6m9f11sshugfnw/Lec8-PriorHierarchicalModels.pdf?dl=0

9.贝叶斯线性回归，模型比较与选择

过拟合和最大似然估计，点估计和最小二乘法，后验和预测分布，模型证据; 贝叶斯信息准则，贝叶斯因子，奥卡姆剃刀定律，贝叶斯模型的比较和选择。

视频地址：

https://youtu.be/tPE6GWJByms

课程笔记：

https://www.dropbox.com/s/ecp5tkeefd7h47h/Lec9-Intro2RegressionOccamsRazor.pdf?dl=0

10.贝叶斯线性回归

线性基函数模型，顺序学习，多输出，数据中心，当σ^2未知时的贝叶斯推断，Zellner的g先验，无信息的半共轭先验，贝叶斯回归相关性确定的介绍。

视频地址：

https://youtu.be/ihNJVuG4Qc0

课程笔记：

https://www.dropbox.com/s/zt6w0wwmg866xtx/Lec10-RegressionModelsA.pdf?dl=0

11.贝叶斯线性回归（续）

证据逼近，固定基函数的局限性，等价的内核回归方法，变量选择的吉布斯抽样，变量和模型选择。

视频地址：

https://youtu.be/na_nAMe1eDk

课程笔记：

https://www.dropbox.com/s/d6zruv69fmu5wmi/Lec11-RegressionModelsB.pdf?dl=0

12.贝叶斯回归与变量选择的实现

卡特回归问题; 共轭先验，条件和边缘后验，预测分布，共轭先验的影响; Zellner的G先验，边缘后验的均值和方差，可信区间; Jeffrey的非信息性先验，Zellner的非信息性G先验，指出用于选择解释性的输入变量零假设和贝叶斯因子的计算; 变量选择，模型比较，先验变量选择，最可能模型的抽样搜索，变量选择的吉布斯抽样; 实现细节。

视频地址：

https://youtu.be/HPTxWF9pIF4

课程笔记：

https://www.dropbox.com/s/pk2caw144nvzjcd/Lec12-CaterpillarRegressionExample.pdf?dl=0

13.蒙特卡罗方法简介，离散和连续分布抽样

中心极限定理，大数定律的回顾。π值计算，指标函数和蒙特卡罗误差估计; 蒙特卡罗估计，性质，变异系数，收敛性，蒙特卡罗和维数灾难; 蒙特卡罗高维度集成，蒙特卡罗样本的最佳数量; 蒙特卡罗估计器的样本表示; 用蒙特卡罗方法估计贝叶斯因子; 从离散分布抽样; 从连续分布反向抽样; 变换方法，Box-Muller算法，从多元高斯样本中抽样。

视频地址：

https://youtu.be/Zfm3kkgODRo

课程笔记：

https://www.dropbox.com/s/a8wyucgomltz8sa/Lec13-MonteCarloMethods.pdf?dl=0

14.反向采样，转换方法，合成方法，接受 - 拒绝方法，分层/系统采样

从离散分布中抽样; 对连续分布进行反向采样; 变换方法，Box-Muller算法，从多元高斯中抽样; 模拟构图，接受拒绝抽样; 带条件的蒙特卡洛;分层抽样和系统抽样。

视频地址：https://youtu.be/epebl6eStbM

课程笔记：https://www.dropbox.com/s/b18tdp81l9mx45z/Lec14-RandomVariableGeneration.pdf?dl=0

15.重要抽样

重要抽样方法，从高斯混合抽样; 最佳重要性抽样分布，归一化重要性抽样; 渐近方差/ Delta法，渐近偏差; 应用于贝叶斯推断; 高维重要性抽样，重要性抽样与拒绝抽样; 用重要性抽样求解Ax = b，计算奇异积分，其他例子。

视频地址：

https://youtu.be/QkHqbmV6j3w

课程笔记：

https://www.dropbox.com/s/jv0r65uxy1gty9v/Lec15-ImportanceSampling.pdf?dl=0

16.吉布斯抽样

重要性抽样回顾，重要性抽样解Ax = b，抽样重要性重采样（续）; 吉布斯抽样，系统和随机扫描，块和吉布斯，在贝叶斯回归变量选择中的应用; 马尔科夫链蒙特卡洛，Metropolis-Hastings抽样，例子。

视频地址：

https://youtu.be/ckoiv-6Thy4

课程笔记：

https://www.dropbox.com/s/g2s1g9u9vj6779o/Lec16-GibbsSampling.pdf?dl=0

17.马尔可夫链蒙特卡罗和Metropolis-Hasting算法

马尔科夫链蒙特卡洛，沿链平均，遍历马尔可夫链; Metropolis算法，Metropolis-Hastings，例子; 随机漫步Metropolis-Hastings抽样，独立Metropolis-Hastings抽样; Metropolis自调整的Langevin算法; 过渡核的组合，模拟退火。

视频地址：

https://youtu.be/6TV5tLCAPBE

课程笔记：

https://www.dropbox.com/s/ek4n2cxtr8pfv7x/Lec17-MetropolisHastings.pdf?dl=0

18.状态空间模型和顺序重要性抽样介绍

状态空间模型; 例子，跟踪问题，语音增强，波动模型; 具有观察的状态空间模型，例子; 状态空间模型中的贝叶斯推理，前向滤波，前向后向滤波; 在线参数估计; 蒙特卡洛状态空间模型，最优重要性分布，顺序重要性抽样。

视频地址：

https://youtu.be/619cVBbd3YY

课程笔记：

https://www.dropbox.com/s/pb555x6z5i8kxd8/Lec18-Intro2StateSpaceModelsAndSequentialImportanceSampling.pdf?dl=0

19.带重采样的序列重要性抽样

顺序重要性抽样（续）; 最优重要性分布，局部最优重要性分布，次优重要性分布; 例子，机器人定位，跟踪，随机波动; 重采样，有效采样大小，多项重采样，带重采样的连续采样，各种示例; Rao-Blackwellised粒子滤波器，卡尔曼滤波器的混合，切换LG-SSM，快速重击; 误差估计，退化，收敛。

视频地址：

https://www.youtube.com/watch?v=O_G3XKywPCg&feature=youtu.be

课程笔记：

https://www.dropbox.com/s/vl10u6yrj7yenny/Lec19-SequentialImportanceSamplingResampling.pdf?dl=0

20.带重采样的序列重要性抽样（续）

序列重要性抽样重采样的一般框架; 在两个维度上生长聚合物; 序列蒙特卡罗静态问题; 在线参数估计; 用于平滑的序列蒙特卡罗。

视频地址：

https://youtu.be/iY8ojDvjajA

课程笔记：

https://www.dropbox.com/s/rzlhpb4uoxu1dtk/Lec20-MoreOnSequentialMonteCarloMethods.pdf?dl=0

21.序列蒙特卡罗（续）和条件线性高斯模型

在线参数估计; 平滑序列蒙特卡罗; 卡尔曼滤波器回顾线性高斯模型;用于条件线性高斯模型的序列蒙特卡罗，Rao-Blackwellized粒子滤波器，应用; 时间序列模型; 部分观察线性高斯模型; 动态Tobit和动态Probit模型。

视频地址：

https://youtu.be/Ngm-9vVHDnw

课程笔记：

https://www.dropbox.com/s/z5c5vlfut4mw8ia/Lec21-ConditionalLinearGaussianModels.pdf?dl=0

22.可逆的跳转马尔可夫链蒙特卡罗

跨维的马尔可夫链蒙特卡罗，自回归的动机和高斯混合模型; 跨维移动的设计，生/死移动，拆分/合并移动，移动混合; 用于自回归的贝叶斯RJ-MCMC模型和高斯混合。

视频地址：

https://youtu.be/oS6-iV0JleI

课程笔记：

https://www.dropbox.com/s/i7d28g05ikfpt79/Lec22-ReversibleJumpMCMC.pdf?dl=0

23.期望最大化介绍

潜变量模型; K-Means，图像压缩; 高斯混合，后验属性和潜变量视角; 伯努利分布的混合; 期望最大化泛化，变分推理视角。

视频地址：

https://youtu.be/IeHrMH98_uM

课程笔记：

https://www.dropbox.com/s/2xoalhj26sh4da2/Lec23-IntroductiontoExpectationMaximization.pdf?dl=0

24.期望最大化（续）

高斯混合; 伯努利分布的混合;用于贝叶斯线性回归的期望最大化算法; 最大后验概率和期望最大化; 增量期望最大化; 使用期望最大化处理丢失的数据; 变分推理的角度。

视频地址：

https://youtu.be/Ma4WVJC2GfY

课程笔记：

https://www.dropbox.com/s/im3aw07lwe3eo5h/Lec24-MoreOnExpectationMaximization.pdf?dl=0

25.主成分分析

连续的潜变量模型，数据集的低维流形，生成观点，不可辨认性; 主成分分析，最大方差公式，最小误差公式，主成分分析与奇异值分解; 典型相关分析; 应用程序，离线数字图像，用主成分分析白化数据，用于可视化的主成分分析; 高维数据的主成分分析; 概率主成分分析，最大似然解，期望最大化算法，模型选择。

视频地址：

https://youtu.be/_27sO2sGzkw

课程笔记：

https://www.dropbox.com/s/xf20q0jagldxvnj/Lec25-Intro2PCA.pdf?dl=0

26.连续潜变量模型

概率主成分分析，最大似然解，期望最大化算法，贝叶斯主成分分析，核主成分分析。

视频地址：

https://www.youtube.com/watch?v=K3QzBGoANT8

课程笔记：

https://www.dropbox.com/s/xhe95z6yoic8207/Lec26-ContinuousLatentVariableModels.pdf?dl=0

27.高斯过程的核方法和导论

双重表示回归，核函数; 内核设计，结合内核，高斯内核，概率内核，Fisher内核; 径向基函数，Nadaraya-Watson模型; 高斯过程，用于回归的高斯过程与基函数方法，学习参数，自动相关性确定; 高斯过程分类，拉普拉斯近似，与贝叶斯神经网络的连接。

视频地址：

https://youtu.be/XpBKhy1h-go

课程笔记：

https://www.dropbox.com/s/2yonhmzn57lvv1d/Lec27-KernelMethods.pdf?dl=0

28.高斯分类问题过程，课程摘要

高斯过程分类，将高斯过程连接到贝叶斯神经网络; 课程概要 - 概率不等式，大数定律，最大似然估计和偏差，贝叶斯定理和后验探索，预测分布，边际可能性，指数族和共轭先验，经验贝叶斯和证据逼近，抽样方法，拒绝方法，重要性采样，马尔可夫链蒙特卡罗，吉布斯抽样，序列重要性抽样和粒子方法，可逆跳跃的马尔可夫链蒙特卡罗，潜变量和期望最大化，模型简化，概率主成分分析和生成模型。

 

视频地址：

https://youtu.be/mZXBDLK8a30

课程笔记：

https://www.dropbox.com/s/54pudgwif0zo8mt/Lec28-Summary.pdf?dl=0

原文地址：https://www.zabaras.com/statisticalcomputing

 

资源推荐

资源 | 想用Python学机器学习？Google大神替你写好了所有的编程示范代码

重磅 | 128篇论文，21大领域，深度学习最值得看的资源全在这了

爆款 | Medium上6900个赞的AI学习路线图，让你快速上手机器学习

葵花宝典之机器学习：全网最重要的AI资源都在这里了（大牛，研究机构，视频，博客，书籍，Quora......）

点击“阅读原文”，查看更多干货资源