翻译 | AI科技大本营（微信ID：rgznai100，点击查看AI科技大本营更多干货文章）
参与 | 刘畅
近日，圣母大学(University of Notre Dame)公开了一门统计学课程资源，包括：课程笔记和授课视频，课后作业（以及解决方案）以及课程信息和参考以及课程大纲。
这份资源非常丰富，但从营长以往推荐的文章和资源看，大家可真不待见“统计”这个词，从字面上看，它太无聊了，但它对很多机器学习的应用领域又是必不可少的，所以营长这次还是推荐给大家。
1.统计计算和概率统计简介
课程介绍：该部分包括课程，书籍和参考资料，目标，组织的介绍；概率统计学，概率法则，独立性，协方差，相关性等的基本原理; 和与乘的规则，边缘分布和条件分布; 随机变量，矩，离散和连续分布; 单变量高斯分布。【视频地址 课程笔记】
2.概率统计概论简介（续）
二项式分布，伯努利分布，多项式分布，泊松分布，学生T分布，拉普拉斯分布，伽玛分布，贝塔分布，帕累托分布，多元高斯和狄利克雷分布; 联合概率分布; 随机变量的变换; 中心极限定理和基本的蒙特卡罗近似法则; 概率不等式; 信息理论综述，KL散度，熵，互信息，詹森不等式。【视频地址 课程笔记】
3.信息理论，多元高斯，最大似然估计，Robbins-Monro算法
信息理论，KL散度，熵，互信息，詹森不等式（续）; 中心极限定理的例子，检查数据集的高斯性质; 多元高斯，马氏距离，几何解释; 单变量和多变量的高斯连续最大似然估计; 连续最大似然估计，用于连续最大似然估计的Robbins-Monro算法。【视频地址 课程笔记】
4.用于连续最大似然的Robbins-Monro算法，维数灾难，条件和边缘高斯分布
高斯Robbins-Monro算法的连续最大似然估计（续）; 回到多元高斯，马氏距离，几何解释，均值和矩，限制形式; 维数灾难，高维的多项式回归中的挑战，高维的球体和超立方体的体积/面积，高维的高斯分布; 条件和边缘高斯分布，配方法，伍德伯里矩阵求逆引理，内插无噪数据和数据插补的例子，高斯的信息形式。【视频地址 课程笔记】
5.似然计算，最大后验估计和正则化式的最小二乘，线性高斯模型
高斯的信息形式（续）; 贝叶斯推断和似然函数计算，加法和乘法误差; 最大后验估计和正则化式的最小二乘法; 用高斯先验估计高斯的均值; 传感器融合的应用; 先验平滑和内插噪声数据。【视频地址 课程笔记】
6.贝叶斯统计学简介，指数族分布
参数化建模，充分性原则，可能性原则，停止规则，条件性原则，p值和频率统计问题，最大似然估计以及可能性和条件性原则; 贝叶斯背景中的推论，后验和预测分布，最大后验估计，迹，贝叶斯推理的序列性质，例子; 指数分布族，例子，计算矩，填充和Neymann因式分解，充分统计量和最大似然估计。【视频地址 课程笔记】
7.指数族分布和广义线性模型，多元高斯分布的贝叶斯推断
指数族分布，计算矩，Neymann因式分解，充分统计量和最大似然估计（续）; 广义线性模型，规范响应，批处理和顺序IRLS算法; 对多元高斯分布，Wishart分布和逆Wishart分布，最大后验估计和后边缘分布的均值和方差/精度进行贝叶斯推断。【视频地址 课程笔记】
8.先验和分层模型
共轭前体（续）和局限性，共轭先验的混合; 非信息先验，最大熵先验; 迁移和尺度不变的先验; 非正常先验; 杰弗里先验; 分层贝叶斯模型和经验贝叶斯/第二类最大似然斯坦因估计。【视频地址 课程笔记】
9.贝叶斯线性回归，模型比较与选择
过拟合和最大似然估计，点估计和最小二乘法，后验和预测分布，模型证据; 贝叶斯信息准则，贝叶斯因子，奥卡姆剃刀定律，贝叶斯模型的比较和选择。【视频地址 课程笔记】
10.贝叶斯线性回归
线性基函数模型，顺序学习，多输出，数据中心，当σ^2未知时的贝叶斯推断，Zellner的g先验，无信息的半共轭先验，贝叶斯回归相关性确定的介绍。【视频地址 课程笔记】
11.贝叶斯线性回归（续）
证据逼近，固定基函数的局限性，等价的内核回归方法，变量选择的吉布斯抽样，变量和模型选择。【视频地址 课程笔记】
12.贝叶斯回归与变量选择的实现
卡特回归问题; 共轭先验，条件和边缘后验，预测分布，共轭先验的影响; Zellner的G先验，边缘后验的均值和方差，可信区间; Jeffrey的非信息性先验，Zellner的非信息性G先验，指出用于选择解释性的输入变量零假设和贝叶斯因子的计算; 变量选择，模型比较，先验变量选择，最可能模型的抽样搜索，变量选择的吉布斯抽样; 实现细节。【视频地址 课程笔记】
13.蒙特卡罗方法简介，离散和连续分布抽样
中心极限定理，大数定律的回顾。π值计算，指标函数和蒙特卡罗误差估计; 蒙特卡罗估计，性质，变异系数，收敛性，蒙特卡罗和维数灾难; 蒙特卡罗高维度集成，蒙特卡罗样本的最佳数量; 蒙特卡罗估计器的样本表示; 用蒙特卡罗方法估计贝叶斯因子; 从离散分布抽样; 从连续分布反向抽样; 变换方法，Box-Muller算法，从多元高斯样本中抽样。【视频地址 课程笔记】
14.反向采样，转换方法，合成方法，接受 - 拒绝方法，分层/系统采样
从离散分布中抽样; 对连续分布进行反向采样; 变换方法，Box-Muller算法，从多元高斯中抽样; 模拟构图，接受拒绝抽样; 带条件的蒙特卡洛;分层抽样和系统抽样。【视频地址 课程笔记】
15.重要抽样
重要抽样方法，从高斯混合抽样; 最佳重要性抽样分布，归一化重要性抽样; 渐近方差/ Delta法，渐近偏差; 应用于贝叶斯推断; 高维重要性抽样，重要性抽样与拒绝抽样; 用重要性抽样求解Ax = b，计算奇异积分，其他例子。【视频地址 课程笔记】
16.吉布斯抽样
重要性抽样回顾，重要性抽样解Ax = b，抽样重要性重采样（续）; 吉布斯抽样，系统和随机扫描，块和吉布斯，在贝叶斯回归变量选择中的应用; 马尔科夫链蒙特卡洛，Metropolis-Hastings抽样，例子。【视频地址 课程笔记】
17.马尔可夫链蒙特卡罗和Metropolis-Hasting算法
马尔科夫链蒙特卡洛，沿链平均，遍历马尔可夫链; Metropolis算法，Metropolis-Hastings，例子; 随机漫步Metropolis-Hastings抽样，独立Metropolis-Hastings抽样; Metropolis自调整的Langevin算法; 过渡核的组合，模拟退火。【视频地址 课程笔记】
18.状态空间模型和顺序重要性抽样介绍
状态空间模型; 例子，跟踪问题，语音增强，波动模型; 具有观察的状态空间模型，例子; 状态空间模型中的贝叶斯推理，前向滤波，前向后向滤波; 在线参数估计; 蒙特卡洛状态空间模型，最优重要性分布，顺序重要性抽样。【视频地址 课程笔记】
19.带重采样的序列重要性抽样
顺序重要性抽样（续）; 最优重要性分布，局部最优重要性分布，次优重要性分布; 例子，机器人定位，跟踪，随机波动; 重采样，有效采样大小，多项重采样，带重采样的连续采样，各种示例; Rao-Blackwellised粒子滤波器，卡尔曼滤波器的混合，切换LG-SSM，快速重击; 误差估计，退化，收敛。【视频地址 课程笔记】
20.带重采样的序列重要性抽样（续）
序列重要性抽样重采样的一般框架; 在两个维度上生长聚合物; 序列蒙特卡罗静态问题; 在线参数估计; 用于平滑的序列蒙特卡罗。【视频地址 课程笔记】
21.序列蒙特卡罗（续）和条件线性高斯模型
在线参数估计; 平滑序列蒙特卡罗; 卡尔曼滤波器回顾线性高斯模型;用于条件线性高斯模型的序列蒙特卡罗，Rao-Blackwellized粒子滤波器，应用; 时间序列模型; 部分观察线性高斯模型; 动态Tobit和动态Probit模型。【视频地址 课程笔记】
22.可逆的跳转马尔可夫链蒙特卡罗
跨维的马尔可夫链蒙特卡罗，自回归的动机和高斯混合模型; 跨维移动的设计，生/死移动，拆分/合并移动，移动混合; 用于自回归的贝叶斯RJ-MCMC模型和高斯混合。【视频地址 课程笔记】
23.期望最大化介绍
潜变量模型; K-Means，图像压缩; 高斯混合，后验属性和潜变量视角; 伯努利分布的混合; 期望最大化泛化，变分推理视角。【视频地址 课程笔记】
24.期望最大化（续）
高斯混合; 伯努利分布的混合;用于贝叶斯线性回归的期望最大化算法; 最大后验概率和期望最大化; 增量期望最大化; 使用期望最大化处理丢失的数据; 变分推理的角度。【视频地址 课程笔记】
25.主成分分析
连续的潜变量模型，数据集的低维流形，生成观点，不可辨认性; 主成分分析，最大方差公式，最小误差公式，主成分分析与奇异值分解; 典型相关分析; 应用程序，离线数字图像，用主成分分析白化数据，用于可视化的主成分分析; 高维数据的主成分分析; 概率主成分分析，最大似然解，期望最大化算法，模型选择。【视频地址 课程笔记】
26.连续潜变量模型
概率主成分分析，最大似然解，期望最大化算法，贝叶斯主成分分析，核主成分分析。【视频地址 课程笔记】
27.高斯过程的核方法和导论
双重表示回归，核函数; 内核设计，结合内核，高斯内核，概率内核，Fisher内核; 径向基函数，Nadaraya-Watson模型; 高斯过程，用于回归的高斯过程与基函数方法，学习参数，自动相关性确定; 高斯过程分类，拉普拉斯近似，与贝叶斯神经网络的连接。【视频地址 课程笔记】
28.高斯分类问题过程，课程摘要
高斯过程分类，将高斯过程连接到贝叶斯神经网络; 课程概要 - 概率不等式，大数定律，最大似然估计和偏差，贝叶斯定理和后验探索，预测分布，边际可能性，指数族和共轭先验，经验贝叶斯和证据逼近，抽样方法，拒绝方法，重要性采样，马尔可夫链蒙特卡罗，吉布斯抽样，序列重要性抽样和粒子方法，可逆跳跃的马尔可夫链蒙特卡罗，潜变量和期望最大化，模型简化，概率主成分分析和生成模型。【视频地址 课程笔记】
原文地址