Sklearn中的f1_score与StratifiedKFold

f1_score

定义f1=2(precisionrecall)/(precision+recall)
越接近1越好
定义TP(预测正确)，FP（错将其他类预测为本类），FN（本类标签预测为其他标签）
precision=TP/(TP+FP)
recall=TP/(TP+FN)
在多级和多标签的情况下，是每个类别的F1分数的加权平均值。注意可能与比赛实际的打分情况不同。
基本参数：

y_ture:一维数组或标签，表示正确的标签
y_pred:分类器返回的估计标签
average:多分类需要此标签，如果设为None，将返回各个类的分数，否者对数据进行平均，默认参数为'binary'，仅当target是二进制时才适用，多标签时：
'weighted'，按加权（每个标签的真实实例数）平均，这可以解决标签不平衡问题，可能导致f1分数不在precision于recall之间。
'micro'，总体计算f1值，及不分类计算。
'macro':计算每个标签的f1值，取未加权平均值，不考虑标签不平衡。

StratifiedKFold

将测试集分为测试集与验证集，用于交叉验证。
以lightgbm分类器作为例子：

x_score = []
cv_pred = []
skf = StratifiedKFold(n_splits=n_splits, random_state=seed, shuffle=True)

for index, (train_index, test_index) in enumerate(skf.split(X, y)):
    print(index)
    X_train, X_valid, y_train, y_valid = X[train_index], X[test_index], y[train_index], y[test_index]
    train_data = lgb.Dataset(X_train, label=y_train)
    validation_data = lgb.Dataset(X_valid, label=y_valid)
    clf = lgb.train(params, train_data, num_boost_round=100000, valid_sets=[validation_data],
                    early_stopping_rounds=50, feval=f1_score_vail, verbose_eval=1)
    x_pred = clf.predict(X_valid, num_iteration=clf.best_iteration)
    x_pred = [np.argmax(x) for x in x_pred]
    x_score.append(f1_score(y_valid, x_pred, average='weighted'))
    y_test = clf.predict(X_test, num_iteration=clf.best_iteration)
    y_test = [np.argmax(x) for x in y_test]
    if index == 0:
        cv_pred = np.array(y_test).reshape(-1, 1)
    else:
        cv_pred = np.hstack((cv_pred, np.array(y_test).reshape(-1, 1)))    # 加入新列
# 投票
submit = []
for line in cv_pred:
    submit.append(np.argmax(np.bincount(line)))

StratifiedKFold参数：

n_splits:折叠次数，默认为3，至少为2。
shuffle:是否在每次分割之前打乱顺序。
random_state:随机种子，在shuffle==True时使用，默认使用np.random。

函数：

split(X, y):
X:array-like,shape(n_sample,n_features)，训练数据集。
y:array-like,shape(n_sample)，标签。
返回值：训练集数据的index与验证集数据的index。

StratifiedKFold用法类似Kfold，但是它是分层采样，确保训练集，验证集中各类别样本的比例与原始数据集中相同。因此一般使用StratifiedKFold。

代码用到的几个基本函数

np.argmax(a, axis=None):a是一个矩阵，当axis==None时，返回的是矩阵中最大的，当axis==0时，返回的是矩阵中各竖列的最大，当axis==1时，返回的是矩阵中个横排的最大，注意返回的是index，不是那个值。

当类别已是从0开始的序号，分类器返回的结果为各个类别的概率，使用argmax函数结果即是预测的类别。
np.bincount(x)：计算非负的int数组中每个值的出现次数。输入是1维数组，返回也为一维数组。输入数组中某个数出现的次数会表示在输出数组index=这个数的大小的位置上，这也是bin，位的意思。比如输入中3出现5次，2出现3次，输出y结果是y[3]=5,y[2]=3.

使用np.argmax(np.bincount(line))即可将数组中出现次数最多的数选出来。