torchtext安装教程

诸神缄默不语-个人CSDN博文目录

torchtext包隶属于PyTorch项目,PyTorch是学习深度学习时常用的Python神经网络框架。
torchtext包涵盖了一些用于自然语言处理任务的函数和数据集。
本文将介绍torchtext包的安装教程,资料来源为torchtext官方GitHub项目:pytorch/text: Data loaders and abstractions for text and NLP
另外本文的内容还参考了torchtext文档:torchtext — torchtext 0.12.0 documentation

安装过程分为如下4步:

  1. 安装PyTorch。
  2. 根据PyTorch版本选择对应的torchtext版本。
  3. 安装torchtext。
  4. 检验torchtext是否成功安装。

以下讲按顺序依次介绍:

第一步:安装PyTorch。
可参考我之前撰写的博文:PyTorch安装教程_诸神缄默不语的博客-CSDN博客_pytorch安装

第二步:根据PyTorch版本选择对应的torchtext版本。
首先查看本地下载的PyTorch版本(使用import torch;print(torch.__version__)查看),以及本地的Python解释器版本(使用import sys;print(sys.version)查看),然后根据https://github.com/pytorch/text/#installation的表格来查找对应的torchtext版本:
torchtext安装教程_第1张图片
如我是PyTorch1.8.2,Python3.8.12,则我对应的torchtext应是0.9.2。

第三步:安装torchtext。
原文中提供了conda install -c pytorch torchtextpip install torchtext两种安装方式。由于我是LTS的PyTorch1.8.2,所以直接用这两种方式(无论是否加上版本号)都无法直接安装。
其他版本我还没有尝试,我的版本的话,需要用conda install -c pytorch-lts torchtext才能安装0.9.2版。(命令行直接来源见Torchtext :: Anaconda.org,我怎么能够知道要从这里找,看下文)

以下介绍一下我的踩坑过程:
我提了这个issue,以下项目作者回复都是这个issue里面回的:Is the torchtext version in https://github.com/pytorch/text/#installation the highest, or the only supported version?? · Issue #1662 · pytorch/text
我一开始直接使用了conda进行默认安装:conda install -c pytorch torchtext 默认安装了0.6.0版本。项目作者告诉我最好还是安装对应版本,所以我就准备重新安装0.9.2版本。
我就运行conda uninstall torchtext卸载了,然后无论我用conda install -c pytorch torchtext==0.9.2还是pip install torchtext==0.9.2命令,都显示无法找到0.9.2版本。
所以我用了pip install torchtext==0.9.1命令行,然后它一路就给我安了PyTorch1.8.1……然后我就觉得很草好吧……
然后项目作者告诉我可以通过pytorch-lts源安装,所以我重新跑了conda install -c pytorch-lts pytorchconda install -c pytorch-lts torchtext,然后看起来应该就是成功安装回PyTorch 1.8.2和torchtext 0.9.2版本了。(第四步输出的包版本是如此对应的)
但是我用conda list仍然可以看到1.8.1版本的PyTorch和0.9.1版本的torchtext……但是在Python中直接import的包确实可以显示最新版本……我有点不太懂哈。这个情况如果以后还会出现新问题的话我再来写对应的解决方案。

此外,torchtext官方GitHub项目中还介绍了其他一些如有需要可以安装的包。我没有安装,如有需要可直接查看原文参考:https://github.com/pytorch/text/#optional-requirements

第四步:检验torchtext是否成功安装。
运行import torchtext;print(torchtext.__version__)如能正确输入第三步安装的torchtext版本,说明已成功安装。

其他文中未提及的参考资料

  1. 如何检查Python版本?_cunjiu9486的博客-CSDN博客

你可能感兴趣的:(人工智能学习笔记,transformers,NLP,人工智能,PyTorch,torchtext)