机器学习-离散型变量处理

离散型变量处理思路

离散型变量输入通常为字符串形式，除了少数决策树模型能够直接处理类别型变量之外，对于逻辑回归、支持向量机等模型而言，必须将类别型变量转换为数值型变量才能正确的工作。

1.Ordinary Encoding（Label Encoding）

自然编码，按照类别出现的自然顺序进行编码，通常用于处理类别之间存在大小关系的数据。
编码顺序会按照大小关系对类别型特征赋予自己的数值ID，但是同时保留了大小关系。

2.One-hot Encoding

独热编码，将N个特征编码为N维的稀疏向量，有效解决了自然编码存在大小关系保留的问题，不好处理数据属性的问题，在一定程度上扩充了维度。
但是当类别过多时，会造成维度灾难。

3. Binary Encoding

将原本的独热编码编码为二进制单位，一定程度上增加了信息的稠密度

4.直接采用LGB、catboost等能直接读取类别型变量的树模型

5.Embedding

将模型类别型变量进行嵌入的操作，可以有效压缩one-hot编码造成的数据稀疏的问题