模型特征调优中的 Scoring 选择

在模型通过 GridSearchCV 进行特征调优的过程中，scoring 参数的选择十分重要。通常模型用的最多的还是 F1 和 ROC-AUC，但是在多分类下，选择 roc_auc 或者 f1 作为分类器的 scoring 标准就会报错，而需要使用 f1_weighted 比较合适。

scikit-learn文档解释：http://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_fscore_support.html

average 部分的官方文档

所以现在实验的结果是：

（1）二分类评判指标：f1，roc_auc

（2）多分类评判指标：f1_weighted

另外通过程序测试可知，全部的候选选项有：

Valid options are ['accuracy', 'adjusted_mutual_info_score', 'adjusted_rand_score', 'average_precision', 'completeness_score', 'explained_variance', 'f1', 'f1_macro', 'f1_micro', 'f1_samples', 'f1_weighted', 'fowlkes_mallows_score', 'homogeneity_score', 'mutual_info_score', 'neg_log_loss', 'neg_mean_absolute_error', 'neg_mean_squared_error', 'neg_mean_squared_log_error', 'neg_median_absolute_error', 'normalized_mutual_info_score', 'precision', 'precision_macro', 'precision_micro', 'precision_samples', 'precision_weighted', 'r2', 'recall', 'recall_macro', 'recall_micro', 'recall_samples', 'recall_weighted', 'roc_auc', 'v_measure_score']

最后附注一篇系统讲述 "机器学习评价指标" 的文章，便于日后总结：http://www.36dsj.com/archives/42271