scikit-learn常用的用法及问题

对平时用机器学习算法常遇到的问题做个总结～

A. 交叉验证

交叉验证是为了评估当前的模型对于整个dataset的generalization error怎么样（如果太大，表示overfit或者underfit），根据[3]的介绍，一般有三种，根据对数据集划分成training set和validation set的比例不同来分的——

1. 划分一小部分作为validation set；
2. 划分成k等分（k >= 2），一份作为validation set，其它的作为training set；
3. 逐个sample拿出来作为validation set，其它的作为training set。

下面分别展示：

A1. 划分training set和validation set

为了防止过度拟合、或验证训练出来的模型的效果，一般会将原始的训练集随机地划分一部分作为validation set（一般20%-40%的数据量），当然还有更好的k-fold-cross-validation，后面再介绍。

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=4)
# random_state的解释是Pseudo-random number generator state used for random sampling
# 我是看不懂啦，目测应该是类似C++语言中的随机种子的东西，不要太在意这个细节～

A2. k-fold-cross-validation

划分成k等分（k >= 2），一份作为validation set，其它的作为training set，每一份都有一次机会作为validation set，总共做k次。
下面用Iris数据集作为例子来说明：

from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn.linear_model import LogisticRegression
from sklearn import svm


def cv_estimate(model, X, KF):
    k_fold = KFold(n = X.shape[0], n_folds = KF)
    all_score = 0
    for k, (train_index, test_index) in enumerate(k_fold):
        # print(X.shape, train_index, test_index)
        model.fit(X[train_index], y[train_index])
        score = model.score(X[test_index], y[test_index])
        print("[fold {0}], score: {1:.5f}".format(k, score))
        all_score += score
    return all_score / KF


# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 设置K值和选择线性回归作为分类模型
K = 6
# model = LogisticRegression()
# svm的结果明显比逻辑回归的要好很多！
model = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
print('{0}-fold validation rate is {1:.5f}'.
format(K, cv_estimate(model, X, K)))

其实上面只是为了演示kFold的过程而已，scikit-learn其实将这个常用的操作给封装了，可以更简单地这么写就好了：

from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn import svm


iris = load_iris()
X = iris.data
y = iris.target

K = 6
model = svm.SVC(kernel='linear', C=1)
scores = cross_validation.cross_val_score(model, X, y, cv=K)
print(scores)

A3. Leave-One-Out Cross Validation（LOO-CV）

这个其实是k-fold的特殊情况，即k = N，N为数据集的规模。不过一般来说，如果不是数据集很小或者训练模型很快的话，这样做的速度太慢了，无法让人接受～有兴趣的话，看一下[4]就好了，这里不做介绍。

B. 模型的持久化

其实就是保存模型为文件，然后要用的时候从文件中将模型加载出来。为什么要这样做呢？是因为有的模型训练时间太长了，或者是读取训练数据的时间太长了，如果你只是在debug后续部分的代码的话，前面这部分就没必要浪费时间了，直接加载已经训练好的模型就好了。当然，这只是我遇到的需求，各人有各人的需要。在scikit-learn里面保存和加载很简单，示例如下：

from sklearn.externals import joblib
from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn import svm


iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=4)

model = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
modelFileName = 'logRes.model'

# 保存模型
joblib.dump(model, modelFileName)

# 加载模型
model = joblib.load(modelFileName)

C. More

后面将会介绍在kaggle上实战中遇到的问题，如特征值的归一化、grid search来选择参数、特征相关性的分析、可视化等等。
ps，这些天看scikit-learn的文档，总是匆匆忙忙看到怎么用就过了，不去仔细看它的例子和说明，刚才静下心看了一篇，发现它的例子代码写得很精辟，比我好得多得多！！！以后要耐心多多学习[fighting]

X. 如何选择模型

如下图所示，是scikit-learn提供的一个选择模型的决策方案，在不知道自己的问题到底应该使用哪些模型来做的时候，可以参考它。

地址是：http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

Z. 参考文章

1. 博客：http://blog.csdn.net/jasonding1354/article/details/46239689
2. scikit-learn官网：http://scikit-learn.org/stable/user_guide.html
3. 交叉验证的介绍：http://blog.csdn.net/holybin/article/details/27185659
4. LOO-CV，http://scikit-learn.org/stable/modules/generated/sklearn.cross_validation.LeaveOneOut.html#sklearn.cross_validation.LeaveOneOut