介绍：用scikit-learn做机器学习

问题定义：

一个学习问题就是用利用一组样本数据去预测未知的事物。如果每个样本数据不仅仅是一个数字来表示，比如是一个多维的数据（多变量数据），我们就叫它属性（attributes）或特征（features）。

我们可以把学习问题分为几大类：

监督学习：预测目标是样本数据中包含的，可以进一步被分为分类或回归。
非监督学习：训练数据中包含了一组没有对应目标值的向量x，通常非监督学习的目标是发现数据中的groups，这个发现过程叫聚类；或者是确定数据的分布，这一过程叫密度估计（density estimation）；或是降维；

训练集与测试集（Training set and testing set）

机器学习要学习数据集的属性而后运用它到新的数据中。因此，在估计算法的时候我们将数据分为两部分，训练数据用于学习，测试数据用于检验。

加载数据集

sklearn中有一些标准的数据集，比如iris和digits数据集来做分类，boston house prices dataset数据来做回归。


>>> import sklearn

>>> from sklearn import datasets

>>> iris = datasets.load_iris()

>>> iris.data

array([[ 5.1,  3.5,  1.4,  0.2],

[ 4.9,  3. ,  1.4,  0.2],

[ 4.7,  3.2,  1.3,  0.2],

[ 4.6,  3.1,  1.5,  0.2],

[ 5. ,  3.6,  1.4,  0.2],

[ 5.4,  3.9,  1.7,  0.4],

[ 4.6,  3.4,  1.4,  0.3],

...

>>> digits = datasets.load_digits()

>>> digits.target array([0, 1, 2, ..., 8, 9, 8])

学习与预测

在digits数据集中，任务是给定一个图片预测它表示什么（0-9 十个数字）。我们来fit一个estimator来预测图片表示的数字。

在scikit-learn中，分类所用的estimator是Python的一个对象，它实现了fit(X, y)和predict(T)的方法。

例子中我们使用sklearn.svm.SVC，它在初始化的时候可以直接传入参数，（先别管那么多了）我们把它当做一个黑盒：


>>> from sklearn import svm

>>> clf = svm.SVC(gamma=0.001, C=100.)

模型的参数选择

这里我们手动设置了gamma，但一般情况下我们应该自动地找到好的参数。有一些工具可以用，比如grid search和cross validation。

因为现在建立的是分类器，所以叫clf。接下来我们必须fit这个模型，fit的含义是学习或训练。先做个实验（不用最后一个数据）：


>>> clf.fit(digits.data[:-1], digits.target[:-1])

SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma=0.001, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)

恭喜你！第一个分类器训练完成。现在我们预测新的数据，刚才没有用（验证的时候保证这个数据没有用，是干净的）的最后一个图片。


>>> clf.predict(digits.data[-1:])

array([8])

digit_8.png

预测结果为8，而这个图片是这样子的，你的分类器准确吗？

scikit-learn 入门