机器学习（1） ---- 机器学习算法综述

机器学习（1） —- 机器学习算法综述

个人博客，欢迎参观： http://www.ioqian.top/about/

本着拓展知识的态度看了机器学习的一个视频，把自己的理解做个总结，分为3部分
1.机器学习算法分类，主要看分类，回归，聚类
2.分类问题
3.回归问题和聚类问题（因为实验室是做图像处理的，主要学习分类问题）

推荐博客:
http://blog.csdn.net/jiejinquanil/article/details/52270178
http://blog.csdn.net/k_shmily/article/details/53063355
http://www.jianshu.com/p/7bae1ead174e

1.机器学习算法分类

根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。在机器学习领域，有几种主要的学习方式：
监督学习，非监督学习，半监督学习和强化学习

1.1监督学习

在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。“监督”体现在不断通过预测结果与实际值比较来改变模型的参数，得到最优的模型
监督学习可以分为回归和分类问题

分类问题的常用算法 决策树；随机森林（Random Forests）；KNN；SVM；神经网络;Adaboost
回归问题的常用算法 逻辑回归（Logistic Regression)；线性回归

1.2非监督学习

在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见非监督学习算法包括奇异值分解、主成分分析，独立成分分析，Apriori算法以及k-Means算法等等

2.重要感念

分类

有监督学习的两大应用之一，产生离散的结果。 例如向模型输入人的各种数据的训练样本，产生“输入一个人的数据，判断是否患有癌症”的结果，结果必定是离散的，只有“是”或“否”

回归

有监督学习的两大应用之一，产生连续的结果。例如向模型输入人的各种数据的训练样本，产生“输入一个人的数据，判断此人20年后今后的经济能力”的结果，结果是连续的，往往得到一条回归曲线。当输入自变量不同时，输出的因变量非离散分布。

聚类

无监督学习的结果。聚类的结果将产生一组集合，集合中的对象与同集合中的对象彼此相似，与其他集合中的对象相异

特征

属性的集合，用向量表示

标签

实例数据的类别结果。

训练集

用来训练产生模型的数据集

测试集

用来测试训练出模型的数据集

特征提取

这种方法需要一个类似文本、图像、视频、音频的原始输入，然后提取可以在随后的机器学习算法中使用的相关“特征”和模式。这与其自身并不是息息相关，但却是一个重要的预处理步骤。

3.分类，回归，聚类如何选择？

这里我们可以根据sklearn官方的一个库来根据一个实际的问题选择不同的算法。这个图仔细看，下面我们的内容也是根据这个图来讲解分类，回归，聚类的主要算法

决策树，svm，knn，k-means源码下载（python实现，基本上都使用第三方库）
https://gitee.com/qianlilo/Machine-Learning-simple-arithmetic#machine-learning-simple-arithmetic