机器学习常见算法概述
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
1、K近邻（KNN）
算法
修改目标函数，则可以逼近连续值的目标函数
可以使用距离加权
其中
实现
（1）C++版本 http://blog.csdn.net/mimi9919/article/details/51172095
（2）python版本 可以参考机器学习实战
2、感知机
一篇介绍感知机原理很不错的文章：http://blog.csdn.net/dream_angel_z/article/details/48915561
感知机的损失函数是误分类点到超平面的距离
算法
实现
（1）C++版本 http://blog.csdn.net/idmer/article/details/49365301
3、朴素贝叶斯
算法
实现
（1）C++版本 http://blog.csdn.net/idmer/article/details/48809677
4、分类回归树（CART）
CART由ID3,C4.5慢慢演化而来，是许多基于树的bagging、boosting模型的基础，非常重要。
算法
其中，5.25如下
实现
（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战
5、逻辑斯蒂回归（LR）
算法
（1）模型参数估计
（2）梯度下降学习参数
（3）最终模型
更多原理
http://blog.csdn.net/a819825294/article/details/51172466
实现
（1）C++版本 http://www.chawenti.com/articles/15254.html
（2）python版本 可以参考机器学习实战
分布式
http://www.csdn.net/article/2014-02-13/2818400-2014-02-13
6、支持向量机（SVM）
算法
更多原理
http://blog.csdn.net/a819825294/article/details/51679152
实现
（1）C++版本 libsvm
（2）python版本 可以参考机器学习实战
7、神经网络（NN）
算法
实现
（1）C++版本 https://github.com/matthewrdev/Neural-Network
8、随机森林（RF）
算法
更多原理
http://blog.csdn.net/a819825294/article/details/51177435
实现
（1）C++版本 http://download.csdn.net/download/qq_17506541/8866653
9、AdaBoost
算法
实现
（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323
（2）python版本 可以参考机器学习实战
10、梯度提升树（GBDT）
算法
更多原理
http://blog.csdn.net/a819825294/article/details/51188740
实现
（1）C++版本 http://blog.csdn.net/a819825294/article/details/51995323
11、XGBoost
更多原理
http://blog.csdn.net/a819825294/article/details/51206410
实现
https://github.com/dmlc/xgboost
12、KMeans
算法
实现
（1）C++版本 http://blog.csdn.net/qll125596718/article/details/8243404
13、PCA
算法
参考文献
（1）《机器学习》 卡内基梅隆大学 Tom M.Mitchell
（2）《机器学习》 周志华
（3）《统计学习方法》 李航