机器学习2020.5.13上课笔记

梯度下降：全部训练数据都参与运算，但计算量过大。

随机梯度下降:随机的选择一组数据参与运算，噪声敏感或更新太慢。

批梯度下降：随机的选取M（M

 

缺点：容易收敛于局部最优，因此初始点的选取至关重要。

解决的办法：

1. 模拟退火算法
2. 目标函数为凸函数（例如二次函数）

 

梯度下降法是 一个无约束的优化。

 

学会调参：比如网络中节点过多过少的影响。

 

LBP:局部二值模式

 

最大值，最小值和均值进行归一化的鲁棒性较差，对噪声敏感。

鲁棒性较好的：众数，中位数，四分位

 

中心极限定理在理论上保证了我们可以只抽样一部分的方法达到统计对象统计参数的目的。

给定一个任意分布的总体，每次从这些总体中随机抽取N个抽样，一共抽M组，然后把这M组抽样分别求出平均值，这些平均值的分布接近正态分布。