安装nltk库,命令行输入以下命令
pip3 install nltk
有些时候的nltk代码需要语料库才能运行,nltk语料库很庞大,这时候运行下面的python代码,就会下载语料库
import nltk
nltk.download()
不过经常因为网络问题导致语料库无法下载下来,这时候需要我们手动下载并配置语料库
大邓已经将语料库资源放到百度网盘,链接: https://pan.baidu.com/s/1RMRfNAs2P8AxA6NISJKVjw 提取码: xbkj
下载并解压,得到nltkdata文件夹,现在我们要知道nltkdata文件夹应该放置的位置(路径), 运行下面代码即可得到nltk_data在本机中放置的位置
import nltk
nltk.data.find(".")
Run
FileSystemPathPointer('/Users/thunderhit/nltk_data')
我们将nltkdata文件夹放到对应的路径(/Users/thunderhit/nltkdata),nltk配置完成~
安装spacy库,命令行输入以下命令
pip3 install spacy
通nltk类似,spacy很多的代码运行时候需要用到训练好的模型,模型列表https://spacy.io/models
English
German
French
Spanish
Portuguese
Italian
Dutch
Greek
Multi-language
可惜spacy目前还是中文没有模型,我们以英文为例。
spacy有4种英文模型 https://spacy.io/models/en ,本文使用encoreweb_sm模型作为案例进行安装
打开 https://github.com/explosion/spacy-models/releases//tag/encorewebsm-2.1.0 网页点击 encorewebsm-2.1.0.tar.gz 文件链接进行下载。
下载完成后将其移动至桌面,方面安装。
打开命令行,切换至桌面
cd desktop
命令行中安装模型
pip3 install en_core_web_sm-2.1.0.tar.gz
注意spacy使用时候需要声明使用的模型
import spacy
nlp = spacy.load('en_core_web_sm')
之后就可以愉快的使用nltk和spacy
推荐阅读
【视频课】数据分析快速入门
2019年7月13-18日(杭州)Stata & Python 实证计量与爬虫分析暑期工作坊
如何用nbmerge合并多个notebook文件?
datatable:比pandas更快的GB量级的库
国人开发的数据可视化神库 pyecharts
pandas_profiling:生成动态交互的数据探索报告
cufflinks: 让pandas拥有plotly的炫酷的动态可视化能力
使用Pandas、Jinja和WeasyPrint制作pdf报告
使用Pandas更好的做数据科学
使用Pandas更好的做数据科学(二)
少有人知的python数据科学库
folium:地图数据可视化库
学习编程遇到问题,该如何正确的提问?
如何用Google Colab高效的学习Python
大神kennethreitz写出requests-html号称为人设计的解析库
flashtext:大规模文本数据清洗利器