数据科学-数据预处理

数据科学

数据预处理

一、特征编码

  • 数字编码:从0开始赋予特征的每一个取值一个整数。 例子:“收入水平”={0,1,2}来代替“收入水平”={贫困,中等收入,富有}
  • One-Hot编码 :将包含K个取值的离散性特征转化为K个二次特征(取值为0,1的特征)。例子:“汽车品牌”={路虎,吉利,奥迪},如果该特征为路虎这写成“路虎”([1,0,0])、该特征为奥迪这写成“奥迪”([0,0,1])

二、缺省值处理

  • 删除法
  • 均值填补
  • 随机填补
  • 按照其他特征填补。有无电梯特征有缺失,可以按照楼房高低特征进行对有无电梯特征进行填补。

三、数据标准化

  • Z-score标准化 ,适用于特征的最大值和最小值未知和样本分布非常分散的情况
  • Min-Max标准化,适用于需要将特征取值简单的线性映射到某一区间中的情形
  • 小数定标标准化,就是让特征取值的绝对值总是小于1
  • 逻辑斯谛标准化(Logistic)

四、特征离散化

将连续型特征换成离散型特征的过程称为特征离散化。

  • 等距离散化
  • 等频离散化
  • 聚类离散化
  • 信息增益离散化
  • 卡方离散化
  • 类别属性相互依赖最大化

五、离群值检测

  • 莱茵达准则(拉依达准则)
  • 箱形图
  • 基于近邻判断离群值

---以上总结参考于《数据科学导引》

转载于:https://www.cnblogs.com/chu03/p/10036252.html

你可能感兴趣的:(数据科学-数据预处理)