【机器学习】知识点汇总

本文为个人学习总结，无任何商业用途，若涉及侵权，联系删除。

---

一、模型评估;

• 分类与回归模型评估：包含回归模型的评估平均绝对误差、平均方差和R平方值；分类模型的评估准确率、精确率、召回率、f1_score，混淆矩阵，ks，ks曲线，ROC曲线，psi等。

二、线性模型

• 线性模型：线性回归，广义线性回归，对数几率回归，线性判别分析，对分类问题，类别不平衡问题。
• 逻辑回归：逻辑回归为什么用sigmoid函数解释、逻辑回归为什么用交叉熵损失函数？、交叉熵损失求导的推导、均分误差MSE与平均绝对值误差MAE的区别与选择、逻辑回归模型中特征是否需要归一化？、

三、决策树

• 决策树一、决策树二：
  信息熵，信息熵增益，基尼系数，决策树的构建（ID3、C4.5，C4.5解决了ID3的什么缺点，怎么解决的？），决策树的剪枝

四、特征降维

• 主成分分析PCA（无监督），线性判别分析LDA（有监督）的对比
• 主成分分析详解：代码实现，应用分析
• pca白化：原理
• SVD矩阵奇异值分解
• 机器学习降维之线性判别模型(LDA)

五、贝叶斯分类器+参数估计

• 贝叶斯分类器一：
  先验概率、后验概率、条件概率、贝叶斯公式、朴素贝叶斯分类器的假设？对于连续以及离散变量的处理？python代码
• 贝叶斯分类器二：极大似然估计与朴素贝叶斯的两个例题，概率模型参数估计的两个派别——判别式、生成式。
• 模型参数估计方法：最大似然估计、最大后验概率估计和贝叶斯估计
• 二维高斯分布的参数分析：公式（矩阵形式）、均值和协方差矩阵对二维高斯分布的影响

六、EM算法

• EM算法：什么是似然函数？极大似然函数意义？求极大似然函数估计值的一般步骤?EM算法的步骤？EM算法的隐变量？

七、SVM支持向量机

• SVM支持向量分类：寻找最大间隔（线性可分）、引入核函数（线性不可分）、SVM流程
• SVR支持向量回归

八、聚类

• 聚类分析（超全超详细版）：聚类指标？聚类之前的准备工作？基于划分的聚类（K-means），k-means与knn的区别？基于层次的聚类? 基于密度的聚类（DBSCAN算法）? 基于密度的聚类相比于划分与层次解决了什么问题？
• 五种主要聚类算法：K-MEANS聚类算法、均值偏移聚类算法、DBSCAN聚类算法、使用高斯混合模型（GMM）的期望最大化（EM）聚类、层次聚类算法。

九、生成模型 VS 判别模型

• 生成模型 VS 判别模型
  （含义、区别、对应经典算法）

其它书籍与总结

• 南瓜书
• 七月在线AI笔试面试题库