NLP之替换不在词表中的分词为‘UNK‘

1. 问题描述
现在有一个词表，它是取分词后的语料，统计出现频率最高的300个（前300个）词构建的词表。现在要将分词后的语料进行替换，替换掉那些不在词表中的token为“UNK”，在词表中的则保持不变。
语料csv文件内容格式如下：

param	parsed	words
未正则化的原始语料	正则化并分词后的语料	查询词表后待生成的列

⭐2. 解决方法

# 根据第二列parsed，查询词表后，生成第三列words
def generate_words(col_parsed, evil_word_vocab):
	lst = []
	for i in col_parsed:
		words = []
		for j in i:
			if j in evil_word_vocab:
				words.append(j)
			else:
				words.append('UNK')
		lst.append(words)
		words = words.copy()
		words.clear()
	return lst

# 这里要用 tolist()方法 将词表中词那一列转化为列表
list_words = generate_words(evil['parsed'], evil_word_vocab['word'].tolist())

# 将新生成的word列添加到原csv文件中
evil['words'] = list_words