在处理数据时,一些变量的值是非数值型的,如区间、中文汉字或者英文等等,在python中,很多时候,上述的数据类型是不能带入模型的,这就需要我们进行处理。
常见的处理方式有两种,一种是独热编码,即python里面sklearn.preprocessing的OneHotEncoder;另一种是sklearn.preprocessing的LabelEncoder来打标签编码。
第一种方法本文暂不说,主要说一下第二种方法中,LabelEncoder的排序问题。
将非数值型变量进行编码,首先要考虑的问题,编码肯定不是随机给的,应该是要先排序,那是如何进行排序?之前我也没太在意这个问题,后来还踩了一些坑,这类细节问题还是要清楚的。
我们知道,非数值类型如果细分的话有很多种,都可以笼统的称为string型,他们在进行排序的过程中,是取这个string里首个字符进行排序的,如果首字母相同,会继续按照第二个字符进行排序,以此类推。每个字符都有一个顺序,具体可以通过ord(string) 来找到。