特征工程

scikit-learn库介绍

一.特征抽取的API都在sklearn.feature_extraction中

      1.字典数据的特征抽取

                from sklearn.feature_extraction import DictVectorizer

                实例化dt = DictVectorizer(sparse=False)

                调用方法dt.fit_transform()输入字典数据或字典的迭代器并转化 用的是one-hot编码转化

                调用方法dt.inverse_transform() 输入array数组或sparse矩阵，返回转换之前数据的格式

                调用方法dt.get_feature_names() 返回类别名

       2.文本特征抽取

                第一种方法

                from sklearn.feature_extraction.text import CountVectorizer

                实例化cv = CountVectorizer()

                方法同上面，里面没有sparse参数，所以用toarray()转化sparse矩阵成数组形式

                单个字母和文字不统计，对于中文文本，先进行分词，在转化，用jieba.cut()分词

                原理：1.统计所有文章当中所有的词，重复的只看做一次，形成词的列表

                            2.对每篇文章，在词的列表里面进行统计每个词出现的次数

                一般用于：文本分类，情感处理

                第二种方法

                TF-IDF:用于评估一个词对于一个文件集或一个语科库中的其中一份文件的重要性

                tf:词的频率  idf：逆文档频率  log(总文档数量/该词出现的文档数量)

                tf*idf  得重要性

                from sklearn.feature_extraction.text import TfidVectorizer

                实例化：tf = TfidVectorizer(stop+words=None)

                方法同上面

二.特征预处理的API都在sklearn.preprocessing中

            数值型数据：1.归一化 2.标准化 3.缺失值

            类别型数据：one-hot编码

            时间类型：时间得切分

            1.归一化 

             特点:通过对原始数据进行变换把数据映射到(默认为[0,1])之间

            公式：  

            max为一列最大值，min为一列最小值，为最终结果，mx，mi分别指区间，默认mx=1，mi=0

              API: from sklearn.preprocessing import MinMaxScaler

                实例化mms = MinMaxScaler(feature_range=[0,1])  feature_range指定范围，默认[0,1]

               方法同上

                归一化目的：使得一个特征对最终结果不会造成更大影响

                归一化缺点：对于异常点得数据处理不是特别好，所以方法鲁棒性(稳定性)较差，只适合传统精确小数据(最大值和最小值会受影响)

                2.标准化

                特点：通过对原始数据进行变换把数据变换到均值为0，方差为1的方位内(也就是标准正态分布)

                公式：

                mean为平均值，为标准差

                API: from sklearn.preprocessing import StandarScaler

                实例化：std = StandarScaler()

                方法同上

                标准化场景:在已有样本足够多的情况下比较稳定，适合现代化嘈杂大数据场景

                3.缺失值

                处理缺失值方法：1.删除：如果每列或者每行数据缺失值达到一定比例，可以考虑

                                              2.补插：可以通过缺失值每行或者每列的平均值，中位数来填充

                API： from sklearn.preprocessing import Imputer

                实例化：im = Imputer(missing_values='NaN',strategy='mean',axis=0) 这里的0

指的是列

                方法同上

                numpy的数组中可以用np.nan/np.NaN来替换缺失值，属于float类型

                如果文件中的一些缺失值，可以替换成nan,通过np.array转换为float类型数组即可

三.数据降维的API都在sklearn.feature_selection中

                    数据降维：减少特征的数量

                    特征选择：冗余，噪声 

                    特征选择三大武器：Filter(过滤式)：Variance Threshold（f方差的过滤）

                                                    Embedded(嵌入式):正则化，决策树

                                                    Wrapper(包裹式)

                    第一种方式

                     过滤式API: from sklearn.feature_selection import VarianceThreshold

                      实例化：vt = VarianceThreshold(threshold=0.0) 删除所有低方差特征，取值根据实际情况而定

                        第二种方式

                        主成分分析API: from sklearn.decomposition import PCA

                        本质：PCA 是一种分析，简化数据集的技术，特征达到上百时候，数据也会改变，特征数量也会减少 （特征很多时，特征之间通常相关）

                        目的：是数据维数压缩，尽可能降低原数据的维数，损失少量信息

                        作用：可以消减回归分析或者聚类分析中特征的数量

                        实例化：pca = PCA(n_components=None)  经验：一般在90%~95%之间最好

                        方法同上

                   特征选择和主成分分析比较：在特征上百的时候用主成分分析比较好