5、回归、分类知识点

1、书籍：

    《概率论与数理统计》、《统计学习方法》

2、回归知识点

1、损失函数多元求导与最小二乘
2、凸函数与梯度下降
3、正则化与范数      （过拟合）
4、模型误差 = 偏差（Bias）+ 方差（Variance）+ 数据本身的误差

链接: 误差

（1）线性回归（损失最小二乘）
（2）岭回归（L2范数）
（3）lasso回归（L1范数）
（4）弹性网络回归（L1+L2范数）
（5）多项式回归（多次幂  非线性）

3、分类知识点

1、条件概率、全概率公式、贝叶斯公式、联合概率
2、伯努利分布、二项分布
3、联合概率（多变量）
4、最大似然

链接: 概率
链接: 分布

	二分类
	（1）逻辑回归（最大似然  贝叶斯）
	（2）SVM支持向量机
			> 同时使得两个点集到此平面的最小距离最大，两个点集中的边缘点到此平面的距离最大。
			> 本点位于最大间隔边界上，是一个支持向量。使支持向量到超平面的函数距离为1，支持向量是距超平面最近的点，所以其他向量点到超平面的函数距离一定大于等于1




	多分类
    （1）贝叶斯（贝叶斯）
    （2）KNN（全概率）
	（3）决策树（商：信息熵、条件熵、联合熵、互信息、相对熵、交叉熵）
	条件熵H(X|Y)度量了我们在知道Y以后X剩下的不确定性，那么H(X)-H(X|Y)呢？从上面的描述大家可以看出，它度量了X在知道Y以后不确定性减少程度，这个度量我们在信息论中称为互信息，，记为I(X,Y)。

链接: 决策树1

链接: 决策树2