学习笔记-机器学习

1 线性回归

时间：2022.04.29

形式化定义

假设函数（hypotheses function）

损失函数（loss function）

代价函数（cost function）

梯度下降法

使用梯度下降法求解，使代价函数损失值最小

 梯度下降算法变形

1、批量梯度下降 ，在数据集比较多的情况下，速度会比较慢

2、随机梯度下降，每次参考一个样本，下降的方向会震荡

3、小批量梯度下降是介于上面两种之间

线性回归-模型评价

1、均方误差MSE

2、均方根误差RMSE

3、平均绝对误差MAE

欠拟合和过拟合 

正则化

岭回归求解

LASSO回归求解

最小二乘法 

 SKlearn 实现线性回归

---

2 逻辑回归

时间：2022.05.01

 1、问题提出

2、逻辑回归求解

3、 逻辑回归正则化

逻辑回归实现多分类

 

3 决策树

时间2022.05.01

1、决策树简介

2、熵

 3、熵的计算举例

4、条件熵

 5、ID3算法

6、决策树-​C4.5算法 

 7、决策树-基尼指数(Gini Index)生成决策树

8、决策树-剪枝 

 

 

 

4、贝叶斯决策

朴素贝叶斯模型

 

5 支持向量机

 2.线性可分支持向量机(几何间隔，函数间隔，目标函数)

3 拉格朗日乘子法求带有等式约束的极值问题

 4.​拉格朗日乘子法求带有不等式约束的极值问题、KKT条件

​5.目标函数求解(1.对偶问题、先对w、b求极小)

 

 ​6.目标函数求解(2.对alpha求极大)

 

 

 10.​非线性支持向量机简介

smo算法推导

6 聚类

 k均值

距离计算

 层次聚类

 

密度聚类

 高斯混合模型

 

 7 主成分分析

 

协方差矩阵的特征值分解算法 

基于数据矩阵的奇异值分解算法 

如何选取主成分个数

8集成学习

 硬投票分类器

 

 提升法

 

 

 

梯度提升树

 

XGboost

 

 

 

 

 

 

stacking