自然语言处理（五）：文本预处理之文本特征处理

自然语言处理笔记总目录

---

文本特征处理的作用： 文本特征处理包括为语料添加具有普适性的文本特征，如n-gram特征，以及对加入特征之后的文本语料进行必要的处理，如长度规范。这些特征处理工作能够有效的将重要的文本特征加入模型训练中，增强模型评估指标

常见的文本特征处理方法：

• 添加n-gram特征
• 文本长度规范

提取n-gram特征：

ngram_range = 2


def create_ngram_set(input_list):
    return set(zip(*(list(input_list[i:] for i in range(ngram_range)))))


input_list = [1, 3, 2, 1, 5, 3]
res = create_ngram_set(input_list)
print(res)

# 结果：{(2, 1), (1, 5), (5, 3), (3, 2), (1, 3)}

zip返回的是一个zip对象，需要使用*进行解包

文本长度规范及其作用： 一般模型的输入需要等尺寸大小的矩阵，因此在进入模型前需要对每条文本数值映射后的长度进行规范，此时将根据句子长度分布分析出覆盖绝大多数文本的合理长度，对超长文本进行截断，对不足文本进行补齐(一般使用数字0)，这个过程就是文本长度规范

文本长度规范的实现：

from keras.preprocessing import sequence

cutlen = 10


def padding(x):
    return sequence.pad_sequences(x, cutlen)


x_train = [
    [1, 45, 67, 34, 25, 56, 78, 65, 23, 84, 75, 24, 46, 8],
    [5, 0, 67, 23]
]

res = padding(x_train)
print(res)

# [[25 56 78 65 23 84 75 24 46  8]
# [ 0  0  0  0  0  0  5  0 67 23]]