数据预处理之独热编码（One-Hot Encoding）

比如
sex:[“male”, “female”]
country: [‘china’,’USA’,’Japan’]
正常数字量化后：
“male”, “female”用0,1表示;
‘china’,’USA’,’Japan’用0,1,2表示。
现在有3个样本：
[‘male’，‘USA’],
[‘male’，‘Japan’],
[‘female’,’China’]
处理后：
[0,1]
[0,2]
[1,0]
上述数据也不能直接用在我们的分类器中。因为，分类器往往默认数据数据是连续有序的。但是，按照我们上述的表示，数字并不是有序的，而是随机分配的。

为了解决上述问题，可以采用独热编码（One-Hot Encoding）。独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。
sex有两个取值，那么可以这么考虑：当取male时为01，取female时为10
country有三个取值，当取china时为001，取USA时为010，为Japan时为100。

这些特征互斥，每次只有一个激活。因此，数据会变成稀疏的。

这样做的好处主要有：

解决了分类器不好处理属性数据的问题
在一定程度上也起到了扩充特征的作用

sklearn中有具体的处理方法：
import pandas as pd
data=

var_to_encode= [‘sex’,’country’]
data = pd.get_dummies(data, columns=var_to_encode)