数学推导+纯Python实现机器学习算法30：系列总结与感悟
Python机器学习算法实现
Author：louwill
Machine Learning Lab
终于到了最后的总结。从第一篇线性回归的文章开始到现在，已经接近有两年的时间了。当然，也不是纯写这30篇文章用了这么长时间，在第14篇Ridge回归之后中间断更了10个多月，好在今年抽出时间把全部补齐了。
一点总结
整个系列对常用的、主流的机器学习模型与算法进行了梳理，主题只有两个，一个是数学推导，一个手写实现。因为机器学习原理大多都是由数学支撑，基本的机器学习数学公式推导对于深入掌握机器学习十分重要；另一方面，通过手写实现机器学习算法，深入理解算法细节，进一步提高算法实现的代码能力。
在完成这项工作的过程中，很多朋友都有问过我，所有的算法是否都是我自己写的。当然不是，作为一名普通的学习者，不可能独自闭门造车的完成这项工作，在公式推导和代码实现过程中，笔者曾大量参考借鉴了各种博客、教材和GitHub相关仓库，总体而言也是一项集成性的工作。还有一个问题就是很多朋友也会问，说好的手写呢，怎么你LightGBM调了包了呢。其实不光是LightGBM调了包，笔者在写支持向量机的时候调用了cvxopt求解二次规划，贝叶斯网络用了pgmpy，CatBoost调用了原生的catboost库，最大熵模型也调用了maxentropy等。一方面是中间确实偷了懒，一方面也是因为部分算法系统过于复杂，一部分未完成的工作会留到下半年继续。
全部模型和算法整理成思维导图如下：
按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类：
监督模型
无监督模型
概率模型
全部30讲如下：
数学推导+纯Python实现机器学习算法1：线性回归
数学推导+纯Python实现机器学习算法2：逻辑回归
数学推导+纯Python实现机器学习算法3：k近邻
数学推导+纯Python实现机器学习算法4：决策树之ID3算法
数学推导+纯Python实现机器学习算法5：决策树之CART算法
数学推导+纯Python实现机器学习算法6：感知机
数学推导+纯Python实现机器学习算法7：神经网络
数学推导+纯Python实现机器学习算法8：线性可分支持向量机
数学推导+纯Python实现机器学习算法9：线性支持向量机
数学推导+纯Python实现机器学习算法10：线性不可分支持向量机
数学推导+纯Python实现机器学习算法11：朴素贝叶斯
数学推导+纯Python实现机器学习算法12：贝叶斯网络
数学推导+纯Python实现机器学习算法13：Lasso回归
数学推导+纯Python实现机器学习算法14：Ridge岭回归
数学推导+纯Python实现机器学习算法15：GBDT
数学推导+纯Python实现机器学习算法16：Adaboost
数学推导+纯Python实现机器学习算法17：XGBoost
数学推导+纯Python实现机器学习算法18：LightGBM
数学推导+纯Python实现机器学习算法19：CatBoost
数学推导+纯Python实现机器学习算法20：随机森林
数学推导+纯Python实现机器学习算法21：最大熵模型
数学推导+纯Python实现机器学习算法22：EM算法
数学推导+纯Python实现机器学习算法23：CRF条件随机场
数学推导+纯Python实现机器学习算法24：HMM隐马尔可夫模型
数学推导+纯Python实现机器学习算法25：kmeans聚类
数学推导+纯Python实现机器学习算法26：PCA降维
数学推导+纯Python实现机器学习算法27：LDA线性判别分析
数学推导+纯Python实现机器学习算法28：奇异值分解SVD
数学推导+纯Python实现机器学习算法29：马尔可夫链蒙特卡洛
数学推导+纯Python实现机器学习算法30：系列总结与感悟
下一步的工作
下一步，笔者将在30讲的基础上继续进行完善和梳理，在深度上进行挖掘，并将系列整理改写为书稿，预计于明年年初成稿。完整版的代码将继续在我的GitHub进行更新完善，感谢各位关注。GitHub地址如下或者阅读原文：
https://github.com/luwill/machine-learning-code-writing
另外，对本系列接下来的改写有建议和想法的朋友可以直接加我微信沟通。
喜欢您就点个在看！