Python 深度学习常用包汇总

Python 深度学习常用包汇总

比较常用Pytorch框架，记录一下常用的包，方便重建深度学习环境。

更新历史

2021/2/28
2021/3/6
2021/5/22
2022/4/22

1、框架

不同框架一般安装在不同环境中
最新Anaconda 创建Python3.6，Python3.7虚拟环境，为Pytorch,tensorflow创建单独环境
检验 pytorch,tensorflow，paddle，mxnet 深度学习框架是否正确支持GPU功能
python给pip修改镜像-cmd命令修改版
在anaconda环境中使用conda命令安装cuda、cudnn、tensorflow（-gpu）、pytorch

1.1 pytorch

网站：https://pytorch.org/

当前安装版本：1.7.1

pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

pytorch 1.9.0

pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

1.2 tensorflow 1.15 cpu ，gpu版

官网：https://tensorflow.google.cn/install

python版本要是3.5 - 3.7

pip install tensorflow==1.15 -i http://pypi.douban.com/simple/

# gpu版
pip install tensorflow-gpu==1.15

linux系统最好的安装方法

conda install -c conda-forge tensorflow-gpu==1.15.0

这样会顺便安装cudatoolkit和 cudnn插件不用全局安装GPU的cuda了，因为配置全局cuda实在有的难

conda会自动选择合适的cudatoolkit和 cudnn版本安装

目前我也只是在conda命令成功了，不知pip命令

1.3tensorflow2.0

# gpu版
pip install tensorflow-gpu==2.0
# cpu版
pip install tensorflow==2.0

使用conda 命令conda install tensorflow-gpu==2.5 安装tensorflow, 会自动安装CUDA组件

1.4 Anaconda虚拟环境中安装CUDA配合Tensorflow-gpu-多版本

阅网上的Tensorflow-gpu的安装教程，模式一装cuda时会让人看到头秃，因为他们都是让你去官网下载cuda和cudnn，基于Windows系统，然后各种添加环境变量，各种版本必须兼容，会把你搞得身心俱疲。

参考你所需要的Tensorflow版本,安装对应版本的cuda,这点很重要！！！！

1.安装cudatoolkit（CUDA）

安装CUDA是一定要指定版本，比如我TensorFlow是 2.3.0 版本，参考上图我就安装CUDA 10.1

conda install -c anaconda cudatoolkit  #-c代表--channel。 它用于指定搜索包的频道  默认最新版本
or
conda install cudatoolkit=10.1 # 若需指定版本

2.安装cudnn

若上步指定了版本，这里将做自动匹配~，所以在安装CUDA时要指定版本安装。这样就可以使用下面第一个命令安装了

conda install -c anaconda cudnn  #若上步指定了版本，这里将做自动匹配~
conda install  cudnn=7.3.1

---

---

1.5 DGL 图网络框架

https://www.dgl.ai/pages/start.html

# 搭配上面的pytorch 1.7.1 使用，先安装 pytorch 1.7.1
pip install dgl-cu110

---

2、工具包

总命令

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

pip install matplotlib numpy opencv-python pillow scikit-learn pandas openpyxl h5py scipy tqdm seaborn grip  jupyter notebook

增加一些NLP的包

pip install jieba wordcloud gensim

一些爬虫的包

pip install requests selenium beautifulsoup4 lxml

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

2.1 scikit-learn(sklearn)

pip install scikit-learn

当前版本：0.24.1

2.2 pandas

pip install pandas

当前版本 ：1.2.2

安装pandas会安装numpy

2.3 numpy

pip install numpy

当前版本：1.20.1

之前安装pytorch不能使用最新的numpy。1.16.6可以。

但现在最新版本可以了。

2.4 matplotlib

画图包

pip install matplotlib

当前版本：3.3.4

2.5 jupyter notebook

pip install jupyter notebook

2.6 gensim

gensim 是一个通过衡量词组（或更高级结构，如整句或文档）模式来挖掘文档语义结构的工具。
算法有Word2vec，doc2vec等等

pip install gensim

安装要点：gensim不同版本的命令的参数会有差异，而且与scipy的版本也有关系。
像一些老的代码一般使用的是gensim3.0，但这个可能需要scipy==1.2.1,要不然有一些函数不能使用，如果出错或报AttributeError: module ‘scipy.misc’ has no attribute XXX的异常。如果报这个异常就说明是scipy版本不对了
如果使用最新的gensim，那么在网上找到的代码都可能要做一定的修改。

---

---

3 少用到的包

3.1 networkx

networkx 是Python的一个包，用于构建和操作复杂的图结构，提供分析图的算法。

pip install networkx

当前版本：2.5

3.2 seaborn

Seaborn是matplotlib的强大的一个扩展。

pip install seaborn