安装tokenizers拓展包

项目场景：

安装python的tokenizers包：

---

问题描述

报错：pip版本低,无法编译

升级pip和setuptools之后依旧不行

pip install --upgrade setuptools
pip install --upgrade pip

解决方案：

只能按照按照官网步骤安装https://pypi.org/project/tokenizers/：

1. 由于pip无法安装，只能安装rust
2. 下载git，打开git bash
3. 我的电脑中已经安装了Visual Studio C++ build tools安装rust,在git bash中输入以下命令

curl https://sh.rustup.rs -sSf | sh -s -- -y
export PATH="$HOME/.cargo/bin:$PATH"

5. 打开电脑的命令提示窗口（cmd）,输入 cargo -V cargo -V 显示版本信息
6. 下载https://github.com/huggingface/tokenizers 代码包
7. 依旧是在cmd中，激活已有的anaconda的虚拟环境（注意：并不是在Anaconda Prompt激活环境）
8. 进入已有的Anaconda环境，使用 activate 环境路径

10. 进入之前下好的tokenizers包路径，我的在F盘
    
    进入F盘之后

cd F:\Material\Curricula\安装包\tokenizers-main\bindings\python

11. 继续按照官网步骤,执行一下两个命令

# Install `tokenizers` in the current virtual env
pip install setuptools_rust
python setup.py install

在这里卡住了，在关闭窗口，重新执行python setup.py install

11. 安装成功