NLP数据预处理神器nltk

神器nltk

安装很简单：

pip install nltk

第一次使用nltk的话，会报错，还需要下载一些资源包，按照提示下载即可：

import nltk
nltk.download('punkt')

可以简单测试一下：

import nltk
text = 'This is a test. I want to learn nltk.'
sens = nltk.sent_tokenize(text)
print(sens)

上面是将文本text切分成句子。

输出结果是：

[‘This is a test.’, ‘I want to learn nltk.’]

我现在有一个需求，给定一个英文文本，本例子使用《圣经》的英文版，里面每行有若干个句子，我们需要转成每行一个句子，所有字母全部转成小写，单词及符号之间都用空格分隔。

代码如下：

import nltk

lines = []
with open('bible.en.txt') as f:
    # 遍历文件每一行
    for line in f:
        # 将每行以句子为单位分开
        sents = nltk.sent_tokenize(line)
        # 遍历每个句子
        for sent in sents:
            # 先将句子进行tokenize,然后在token之间加空格，最后都转成小写
            tmp = ' '.join(nltk.word_tokenize(sent)).lower().strip() + '\n'
            lines.append(tmp)
# 预处理后的句子写入到新的文件中去
with open('bible.en.txt.lower', 'w') as f:
    f.writelines(lines)

这只是最简单的用法，后续继续补充。