【机器学习】特征提取 特征降维

特征工程

特征工程是将原始数据转化为可以用于机器学习的数字特征，比如字典的特征提取，文档的特征提取等。

字典特征提取

把字典的每个唯一的键作为数据集特征的一个维度，有这个维度的就为1，没有就是0。其他相同的键，该维度的值就是其键值。

这样的操作把字典样本的每一条数据转化为了矩阵，但是矩阵中含有大量的0（因为数据中的键和值有很多不同），所以称之为稀疏矩阵

为了保存数据的高效，一般使用三元组表存储。保存非零数据的索引和值。

DictVectorizer 接收参数是字典列表

返回值默认是三元组的稀疏矩阵表示

sparse=False表示返回的是数组

sparse=True表示返回的是三元组 （默认值）

三元组可以通过toarray()转化为稀疏矩阵

from sklearn.feature_extraction import DictVectorizer
dit = [
    {'name':'Tom','h':180,'age':40,'p':'a'},
    {'name':'Jerry','h':30,'age':30,'p':'b'},
    {'name':'Speicher','h':220,'age':50,'p':'c'}
]

transf = DictVectorizer(sparse=True) # sparse稀疏 坐标（索引） 值的形式提取，更节省内存   默认是稀疏矩阵  可以设置为数组  
arr = transf.fit_transform(dit)
print(arr)
print(arr.toarray()) # 转换为矩阵
'''
  (0, 0)	40.0
  (0, 1)	180.0
  (0, 4)	1.0
  (0, 5)	1.0
  (1, 0)	30.0
  (1, 1)	30.0
  (1, 2)	1.0
  (1, 6)	1.0
  (2, 0)	50.0
  (2, 1)	220.0
  (2, 3)	1.0
  (2, 7)	1.0
[[ 40. 180.   0.   0.   1.   1.   0.   0.]
 [ 30.  30.   1.   0.   0.   0.   1.   0.]
 [ 50. 220.   0.   1.   0.   0.   0.   1.]]
'''

文本特征提取

把文本中的词作为一个文本的特征，词在文本中的数量就是对应特征的值

CountVectorizer

stop_words 表示词的黑名单，不提取这些词 是一个列表

print(transf.get_feature_names_out()) 获得特征名，也就是词

• 英文文本特征提取

from sklearn.feature_extraction.text import CountVectorizer
text_ls_E = ['cat and rat','cat is Tom','rat is Jerry']
transf = CountVectorizer(stop_words=['is','and'])  # 词黑名单  不提取的词  需要对句子进行分词
arr = transf.fit_transform(text_ls_E)
print(arr)
print(arr.toarray())
print(transf.get_feature_names_out())  # 
'''
 (0, 0)	1
  (0, 2)	1
  (1, 0)	1
  (1, 3)	1
  (2, 2)	1
  (2, 1)	1
[[1 0 1 0]
 [1 0 0 1]
 [0 1 1 0]]
['cat' 'jerry' 'rat' 'tom']
'''

• 中文文本特征提取

和英文不同之处在于，需要进行分词，因为中文并不是一个字就代表一个含义

import jieba
text_ls_c = ['猫和老鼠','猫是汤姆','老鼠是杰瑞']  # 中文需要进行分词
transf_C = sklearn.feature_extraction.text.CountVectorizer(stop_words=['是'])

text_cut = []
for seq in text_ls_c:
    seq = jieba.lcut(seq)
    seq = ' '.join(seq)
    text_cut.append(seq)
# print(text_cut)
data = transf_C.fit_transform(text_cut)
print('中文',data)
print(data.toarray())
print(transf_C.get_feature_names_out())

'''
中文   (0, 2)	1
  (1, 1)	1
  (2, 3)	1
  (2, 0)	1
[[0 0 1 0]
 [0 1 0 0]
 [1 0 0 1]]
['杰瑞' '汤姆' '猫和老鼠' '老鼠']
'''

TF-IDF 文本特征词重要程度特征提取

TF 词频 文本中词出现次数/文本中词的数量 词在文档中的重要程度

IDF 逆文档频率 ln(文档的数量/文档中出该词的文档数) 词在整个文档集合中的重要程度

TF-IDF 词频和逆文档频率的积

# TF-IDF  文本特征词重要程度特征提取
from sklearn.feature_extraction.text import TfidfVectorizer,CountVectorizer
texts = [
    'this is a cat',
    'this is a dog',
    'this is a rat',
]
data=['世界 你好 我 是 华清 远见 的 张 三', '你好 世界 我 是 李四 世界', '华清 远见 666']

# counter = CountVectorizer(stop_words=['is'])
# data_counter = counter.fit_transform(texts)
tfidfer = TfidfVectorizer()
data_tfidf = tfidfer.fit_transform(texts)
print(data_tfidf)
print(data_tfidf.toarray())
print(tfidfer.get_feature_names_out())
'''
  (0, 0)	0.7674945674619879
  (0, 2)	0.4532946552278861
  (0, 4)	0.4532946552278861
  (1, 1)	0.7674945674619879
  (1, 2)	0.4532946552278861
  (1, 4)	0.4532946552278861
  (2, 3)	0.7674945674619879
  (2, 2)	0.4532946552278861
  (2, 4)	0.4532946552278861
[[0.76749457 0.         0.45329466 0.         0.45329466]
 [0.         0.76749457 0.45329466 0.         0.45329466]
 [0.         0.         0.45329466 0.76749457 0.45329466]]
['cat' 'dog' 'is' 'rat' 'this']
'''

无量纲化

去掉数据的单位，把数据的只用数值来表示，转化为没有单位的量。

无量纲化之后可以使得不同的物理量，可以在一个范围内进行比较或者运算

现实中的数据单位不同，导致不同类型的数据之间的差异，影响对样本特征的处理

• 归一化MinMaxScaler

把原始数据变换到指定的范围，默认0-1 （比例尺的缩放）

x = (x-x_min)/(x_max-x_min) 得到的x就是0-1范围的值

如果需要在其他范围的映射（a,b）得到0-1的x在进行运算

x_scaled = (b-a)x+a

sklearn.preprocessing.MinMaxScaler 缩放 范围元组

import sklearn.preprocessing

data = np.random.randint(0,46,(3,3))
transf = sklearn.preprocessing.MinMaxScaler((0,1))
trans_data = transf.fit_transform(data)
print('data',data)
print('transf_data',trans_data)

'''
data [[42 12 20]
 [24 24 43]
 [28 12 28]]
transf_data [[1.         0.         0.        ]
 [0.         1.         1.        ]
 [0.22222222 0.         0.34782609]]
'''

• 标准化StandardScaler

根据数据的均值和方差，把数据转化为均值为0，标准差为1 的分布

x = (x-μ)/σ

μ是均值，σ是标准差

# 标准化
data = np.random.randint(0,1000,(3,3))
transf = sklearn.preprocessing.StandardScaler()
trans_data = transf.fit_transform(data)
print('data',data)
print('transf_data',trans_data)

'''
data [[592 750 354]
 [870 844 989]
 [217 480 371]]
transf_data [[ 0.12084303  0.38025112 -0.73568456]
 [ 1.15984392  0.98951711  1.41382324]
 [-1.28068695 -1.36976822 -0.67813868]]
'''

特征降维

数据集中的特征并都是有用的，有的特征可以通过其他特征表示，也就是两个特征有相关性。同时，一些相同的数据特征，方差较小，不能区别出不同类型的样本，这样的特征是冗余的。

对这些特征进行降维，去除特征，可以提高计算效率

• 特征选择

  • 低方差特征过滤

  # 低方差过滤  
  import sklearn.feature_selection
  
  
  data = [
      [10,1],
      [10,2],
      [10,3],
      [10,4],
      [10,5],
      [10,6],
      [10,7],
  ]
  select = sklearn.feature_selection.VarianceThreshold(1)
  new_data = select.fit_transform(data)
  new_data
  
  '''
  array([[1],
         [2],
         [3],
         [4],
         [5],
         [6],
         [7]])
  '''
  

  • 相关系数特征选择

  # 相关系数特征选择
  from scipy.stats import pearsonr
  data = np.array([[i,i*10] for i in range(10)])
  r = pearsonr(data[:,0],data[:,1])
  print(r)
  print(r.statistic) # 相关性
  print(r.pvalue) #  皮尔逊系数的p值 相关性显著水平 
  '''
  PearsonRResult(statistic=1.0, pvalue=0.0)
  1.0
  0.0
  '''
  
  

• 主成分分析

  • PCA

  通过矩阵线性变换，保留样本方差最大的特征值，得到新的特征，每个新的特征就是一个主成分

  PCA n_components 参数是整数，保留多少特征，小数，保存多少比例的信息

  import sklearn.decomposition
  import numpy as np
  
  np.random.seed(10) # 随机种子
  data = np.random.random_sample((5,10))
  transf = sklearn.decomposition.PCA(n_components=0.7)  # 保留70%的方差
  new_data = transf.fit_transform(data)
  print(data)
  print(new_data)
  
  '''
  [[0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665
    0.19806286 0.76053071 0.16911084 0.08833981]
   [0.68535982 0.95339335 0.00394827 0.51219226 0.81262096 0.61252607
    0.72175532 0.29187607 0.91777412 0.71457578]
   [0.54254437 0.14217005 0.37334076 0.67413362 0.44183317 0.43401399
    0.61776698 0.51313824 0.65039718 0.60103895]
   [0.8052232  0.52164715 0.90864888 0.31923609 0.09045935 0.30070006
    0.11398436 0.82868133 0.04689632 0.62628715]
   [0.54758616 0.819287   0.19894754 0.8568503  0.35165264 0.75464769
    0.29596171 0.88393648 0.32551164 0.1650159 ]]
  
  [[-0.6061961  -0.19193152]
   [ 1.03258766 -0.05359811]
   [ 0.16724648 -0.43674706]
   [-0.67480645  0.0573277 ]
   [ 0.08116841  0.62494898]]
  '''