机器学习知识点QA

浮沙之上，勿筑高台

自己整理的笔记文章内容都是自己从自学机器学习以来涉及到的一些知识点、经历等等，包括研一上学期默默的学习机器学习理论知识，从李航老师的 《统计学习方法》 和周志华老师的 《机器学习》 西瓜书一步步地入门机器学习领域。这两本书从研一到确认工作陪伴了我两年，从入门学习到面试准备时都给予了我很大的帮助，以后这两本书也要经常的回头看看。

理论学习后参加的数据挖掘类竞赛以及幸运的实习经历，不仅让我认识了优秀的挚友和一群优秀的同事，也让我迈入了推荐算法和NLP的领域。在这里面基础的算法理论知识，熟悉每一个基础算子，算法的实现，跟进学习前沿的算法，熟练的工程能力，深刻的业务理解能力等等…我认为都是非常非常重要的。

我想抽出时间听着歌静下心来整理整理学习过程中的知识点、实践经历等等，同时也要以这种方式去更多的学习新的知识，保持学习。这里面参考了很多很多优秀前辈们的传授、总结、踩坑…感谢各位老师！

写知识点总结，一方面是对自己入门机器学习以来的一个回顾整理以免生疏，一方面是通过写笔记来督促自己保持学习。

知识点QA整理主要参考了（也是自己看过学习的书籍、视频、博客等），包括:
《统计学习方法》（李航老师）
《机器学习》（西瓜书）
《百面机器学习》（HuLu）
《机器学习实战》
《推荐系统实战》
《深度学习》（花书）
等…

下面是自己会整理一个一个小方面的知识点QA：
（其实有一份自己学习过程中整理的全的，不过有点儿乱，正好这个机会一个一个再梳理一下。。。）

---

0、模型评估

ROC、AUC、F1、RMSE、Recall、Precision...  

1、支持向量机-SVM

2、逻辑回归-LR

3、正则化-L1&L2

4、决策树模型

信息增益、Gini、ID3、C4.5、CART  

5、集成学习

bagging、boosting、stacking、偏差、方差、rf、gbdt、adaboost、xgboost、lightgbm  

6、聚类算法

K-means...  

7、朴素贝叶斯

8、降维

PCA、SVD、LDA  

9、特征工程与特征选择

10、优化算法

梯度下降、牛顿法、EM、SGD、Adagrad、Adam...  

11、深度学习部分

nlp、推荐算法、cnn、rnn、lstm、attention