数据挖掘-数据预处理的简单流程

此流程是一种简单的写法,在其他具体问题分析时,需有自己的分析方法,具体情况具体分析。

  1. 查看train_data与test_data 的个特征列的直方图分布情况,去掉分布特差的特征(分布特别不一致的那种)。
    # 标准化后数据可视化
    for col in data_minmax.columns:
    plt.figure()
    plt.title(col)
    seaborn.distplot(data_minmax[col], label=‘minmax’)
    seaborn.distplot(train[col], label=‘train’)
    seaborn.distplot(test[col], label=‘test’)
    plt.legend()
    # plt.show()
    plt.savefig(‘IMAGE/minmax_{}.jpg’.format(col))
  2. 对剩余数据进行数据标准化
    preprocessing.minmaxsclar or Standard or minmax
    3.对某些特征进行正太分布处理,使其符合正太分布

4.特征选择,剔除掉方差过小的特征

  1. 尝试选择模型
  2. 进行模型的融合

你可能感兴趣的:(Python,数据挖掘)