特征工程-指标筛选

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

在数据建模前期，很重要的一步是特征工程的构建，最明显的一次就是多分类问题，单增加一个特征，准确率从78%提高到了85%。

在数据预处理之后，我们同时也会构造很多的指标，无论是根据业务逻辑，还是粗暴的特征交叉（可用sklearn的PolynomialFeatures）进行构建特征，最后，我们都需要选择有意义的特征进行训练。通常来说，从两个方面考虑来选择特征：

1、特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。

2、特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。除方差法外，本文介绍的其他方法均从相关性考虑。

一、基于L1的特征选取,并根据系数绝对值排序

from sklearn.svm import LinearSVC

def l1_feature(x, y1, feat_labels):

    lsvc = LinearSVC(C=0.01, penalty="l1", dual=False).fit(x, y1.astype('int'))

    cofe_lsvc = lsvc.coef_.T.sum(axis = 1)

    l1_result = pd.DataFrame(abs(cofe_lsvc),columns = ['SCORE'])

    l1_result['RANK'] = l1_result.rank(ascending = False)

    l1_result['NAME'] = feat_labels

    return l1_result

二、训练随机森林模型,并根据绝对值排序

def forest_feature(x, y1, feat_labels):

    x_train, x_test, y_train, y_test = train_test_split(x, y1, test_size = 0.3, random_state = 0) 

    forest = RandomForestClassifier(n_estimators=10000, random_state=0, n_jobs=-1)

    forest.fit(x_train, y_train.astype('int'))

    #打印特征重要性评分

    importances = pd.DataFrame(forest.feature_importances_,columns = ['SCORE'])

    #indices = np.argsort(importances)[::-1]

    importances['RANK'] = importances.rank(ascending = False)

    importances['NAME'] = feat_labels

    return importances

三、皮尔逊相关系数-越大越好\P值-越小越好

def pear_feature(x, y1, feat_labels):

    pear_result = []

    P_result = []

    for i in range(x.shape[1]):

        x_bak = data_pro_pear(x,i)     

        pear_result.append(abs(pearsonr(x_bak,y1)[0]))

        P_result.append(pearsonr(x_bak,y1)[1])

    pear_result_1 = pd.DataFrame(pear_result,columns = ['SCORE'])

    P_result_1 = pd.DataFrame(P_result,columns = ['SCORE'])

    pear_result_1['RANK'] = pear_result_1.rank(ascending = False)

    pear_result_1['NAME'] = feat_labels

    P_result_1['RANK'] = P_result_1.rank(ascending = True)

    P_result_1['NAME'] = feat_labels

    return pear_result_1, P_result_1

四、卡方检验

def chi2_feature(x, y1, feat_labels):

    model1 = SelectKBest(chi2, k=2)#选择k个最佳特征 

    model1.fit_transform(x, y1.astype('int'))

    chi2_result = pd.DataFrame(model1.scores_,columns = ['SCORE'])

    chi2_result['RANK'] = chi2_result.rank(ascending = False)

    chi2_result['NAME'] = feat_labels   

    return chi2_result

五、GBDT

def gbdt_feature(x, y1, feat_labels):

    gbdt=GradientBoostingRegressor(

      loss='ls'

    , learning_rate=0.1

    , n_estimators=100

    , subsample=1

    , min_samples_split=2

    , min_samples_leaf=1

    , max_depth=3

    , init=None

    , random_state=None

    , max_features=None

    , alpha=0.9

    , verbose=0

    , max_leaf_nodes=None

    , warm_start=False

    )

    gbdt.fit(x,y1)

    score = gbdt.feature_importances_ 

    gbdt_result = pd.DataFrame(score,columns = ['SCORE'])

    gbdt_result['RANK'] = gbdt_result.rank(ascending = False)

    gbdt_result['NAME'] = feat_labels   

    return gbdt_result 

然后再根据每个方法的排名求得总排名就好啦。