葫芦书笔记----特征工程

为什么需要对数值类型的特征做归一化?

一句话速记:为了消除数据特征至今啊的量纲影响,使得不同指标之间具有可比性。

详细版:为了将所有特征都统一到一个大致相同的数值区间内。常用方法有线性函数归一化、零均值归一化。归一化的好处有:在学习率相同的情况下,更容易通过梯度下降找到最优解。但是数据归一化不是万能的,它对于决策树模型并不适用,以为决策树在进行节点分裂时是根据数据集D关于特征x的信息增益比,而信息增益比和特征x是否经过归一化是无关的,因此归一化并不会改变特征上的信息x增益.

 

在对数据进行预处理时,应该怎样处理类别型特征?

类别型特征:主要指性别(男,女)这样只在有限选项内取值的特征。

一句话速记:序号编码、独热编码、二进制编码等。

详细版:序号编码通常用于处理类别间具有大小关系的数据。如成绩可分为高中低,并且存在高》中》低的排序关系。序号编码会按照大小关系对类别型特征赋予一个数值id,例如高为3,中2,低1,转换后依旧保留了大小关系。
独热编码通常用于处理类别间不具有大小关系的特征,对于类别取值较多的情况下使用独热编码需注意以下问题:1.使用稀疏向量来节省空间。  2. 配合特征选择来降低维度。
二进制编码,本质是利用二进制对ID进行哈希映射,最终得到0/1特征向量,且维度少于独热编码,节省了存储空间。

 

什么是组合特征?如何处理高维组合特征?

速记:一阶离散特征两两组合,构成高阶组合特征。对于高维组合特征,可以用低维向量表示。

详细:以逻辑回归为例,假设数据的特征向量为X=(x_1,x_2,...,x_k),则有,

Y=sigmoid(\sum_i\sum_jw_{ij}<x_i,x_j>)
其中表示xi和xj的组合特征,wij的维度等于|x_i|\cdot |x_j|,|xi|,|xj|分别代表第i各特征和第j个特征不同取值的个数。
在高维时,可以用k维的低维向量表示(k<

Y=sigmoid(\sum_i\sum_jw_{ij}<x_i,x_j>))

其中w_{ij}=x^`_i\cdot x^`_j x^`_i,x^`_j  分别表示xi和xj对于的低维向量。其实这样等价于矩阵分解。

 

如何有效地找到组合特征?

参照决策树的节点选取即可。

 

文本表示模型有哪些?它们各有什么优缺点?

速记:词袋模型(易得,信息较少,没有位置信息)、N-gram模型(较易得,无法解决一词多义,无法识别两个词是否具有相同的主题)、主题模型(可得到每个词与每个主题的相关性,主题个数不好确定)。

 

Word2Vec是如何工作的?它和LDA有什么区别与联系?

速记:CBOW与Skip-gram。区别:在于模型本身,主题模型是一种基于概率图模型的生成时模型,词嵌入模型一般表达为神经网络的形式。联系:某种意义上说,词嵌入的每一维其实可以理解成一个主题。

 

你可能感兴趣的:(葫芦书笔记,特征工程,机器学习,面试)