https://www.pycharm.com.cn/t/62
home—>dll—>annacoda3—>bin—>python3.9
#登录远程
ssh 用户名@网址 -p 端口
conda info -e
#创建虚拟环境
conda create -n name_pycharm python=3.9#创建
conda activate name_pycharm#激活
conda install jupyter#就、虚拟环境中下载软件
conda list#查看
jupyter notebook#启动
版本问题
解决方案:将from keras.layers.normalization import BatchNormalization
改成from keras.layers.normalization.batch_normalization_v1 import BatchNormalization
pip install --upgrade pandas
解决方法:
无论是txt文件还是csv文件出现这样的问题,解决方法是一样的:
**右击文件-以记事本的方式打开-另存为-注意窗口的下方–选择UTF-8 编码格式-保存。
**。
https://www.php.cn/topic/excel/455341.html#:~:text=excel%E8%AE%BE%E7%BD%AE%E6%88%90,%E5%9B%9E%E4%BF%9D%E5%AD%98%E6%96%87%E4%BB%B6%E5%8D%B3%E5%8F%AF%E3%80%82
https://www.cnblogs.com/rychh/p/9743864.html
总结有三种方法:
一:更换为绝对路径的写法
func1("C:\\Users\\renyc")
二:显式声明字符串不用转义(加r)
func1(r"C:\Users\renyc")
三:使用Linux的路径/
func1("C:/Users/renyc")
pip install openpyxl
环境安装
首先点开anaconda里面的Anaconda powershell prompt
#在里面创建虚拟环境tensorflowMy
conda create -n tensorflowMy python=3.9
#激活虚拟环境
conda activate tensorflowMy
#安装cudatoolkit
conda install cudatoolkit -c conda-forge
#安装cudnn
conda install cudnn -c conda-forge
#在虚拟环境里面下载tensorflow包
pip install tensorflow
#在虚拟环境里面下载keras包
pip install keras
代码调用
import os
import tensorflow as tf
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
gpus = tf.config.list_physical_devices("GPU")
#查看使用的是GPU还是CPU:
from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())
#查看GPU使用率:在终端执行nvidia-smi
经过网上搜索,这种一般是由于GPU显存不够导致的原因,我的解决办法是直接调小了batch_size的大小,将batch_size的值由原来的16修改为了8,即可正常运行
pip install -i https://pypi.douban.com/simple <需要安装的包>
比如:
pip install -i https://pypi.douban.com/simple requests
tensorflow 2.5.0
pip install -i https://pypi.douban.com/simple grpcio==1.34.0
pip install -i https://pypi.douban.com/simple h5py==3.1.0
pip install -i https://pypi.douban.com/simple numpy==1.19.2
pip install -i https://pypi.douban.com/simple six==1.15.0
pip install -i https://pypi.douban.com/simple tensorflow-estimator==2.5.0
pip install -i https://pypi.douban.com/simple typing-extensions==3.7.4
pip install -i https://pypi.douban.com/simple wrapt==1.12.1
python:3.8.5
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
(pytorch_envs) C:\Users\Fishc>python
Python 3.8.12 (default, Oct 12 2021, 03:01:40) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> torch.__version__
'1.10.2'
>>>torch.cuda.is_available()
虚拟环境里面安装tensorflow2.9.0+keras2.9.0+cudnn8.2.1.32+cudatoolkit11.4.2+python3.9
首先点开anaconda里面的Anaconda powershell prompt
在里面创建虚拟环境tensorflowMy
conda create -n tensorflowMy python=3.6
激活虚拟环境
conda activate tensorflowMy
pip install tensorflow-gpu==1.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
安装cudatoolkit
conda install cudatoolkit -c conda-forge
安装cudnn
conda install cudnn -c conda-forge
在虚拟环境里面下载tensorflow包
pip install tensorflow
在虚拟环境里面下载keras包
pip install keras
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '/gpu:0'
#这句关键
import time
#查看使用的是GPU还是CPU:
from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())
#创建环境
conda create -n rebot python=3.6
conda activate rebot
#安装包
#升级指令
python -m pip install --upgrade pip
conda install jupyter
pip install tornado==4.4.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install tensorflow==1.2 -i https://pypi.tuna.tsinghua.edu.cn/simple
#(tensorflow 2.0以后没有 tensorflow.contrib)
pip list
import tensorflow as tf
import os
os.environ["CUDA_VISIBLE_DEVICES"] = '0' #指定第一块GPU可用
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.5 # 程序最多只能占用指定gpu50%的显存
config.gpu_options.allow_growth = True #程序按需申请内存
sess = tf.Session(config = config)
conda create -n robot python=3.6
conda activate robot
conda install jupyter
python -m pip install --upgrade pip
pip install tornado==4.4.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install tensorflow-gpu==1.12 -i https://pypi.tuna.tsinghua.edu.cn/simple
conda install cudatoolkit=9.0
conda install cudnn=7.3
pip install numpy==1.16.0
import tensorflow as tf
tf.test.is_gpu_available()
开始使用我们的和界面gitgit-lfs
如果需要从命令行创建模型存储库(如果从网站创建了存储库,则跳过)
pip install huggingface_hub
Or use transformers-cli if you have transformers
huggingface-cli login
Log in using the same credentials as huggingface.co/join
Create a model repo from the CLI if needed
huggingface-cli repo create model_name
在本地克隆模型
Make sure you have git-lfs installed
(https://git-lfs.github.com)
git lfs install
git clone https://huggingface.co/username/model_name
然后添加,提交和推送权重,分词器和配置
save files via `.save_pretrained()` or move them here
git add .
git commit -m "commit from $USER"
git push
然后,您的模型将通过其标识符进行访问:用户名/model_name
任何人都可以从代码中加载它:
tokenizer = AutoTokenizer.from_pretrained("username/model_name")
model = AutoModel.from_pretrained("username/model_name")
#添加镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
#显示检索路径
conda config --set show_channel_urls yes
#显示镜像通道
conda config --show channels
# -n 后面的参数是服务器A要克隆的环境名称
conda env export -n cmd > environment.yaml
# -n 后的参数是在B上要创建的虚拟环境名称, -f 后参数指的是yaml环境内容
conda env create -n cmd -f environment.yaml
1、把environment.yaml第二个等号,包括等号全删了
2、还会有几个包没找到,直接在environment.yaml删掉对应的即可
import torch
print(torch.__version__) #注意是双下划线
print(torch.version.cuda)
print(torch.cuda.is_available())
print(torch.cuda.get_device_name())
我的torch是1.12.0,cuda是11.3
pip install torch-scatter -f https://data.pyg.org/whl/torch-1.8.0+cu111.html
pip install torch-sparse -f https://data.pyg.org/whl/torch-1.8.0+cu111.html
此外还需要安装补充包(可选的)。
pip install torch-cluster -f https://data.pyg.org/whl/torch-1.10.0+cu102.html
pip install torch-spline-conv -f https://data.pyg.org/whl/torch-1.10.0+cu102.html
pip install torch-geometric
https://pytorch.org/get-started/previous-versions/#linux-and-windows-1
# CUDA 10.2
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=10.2 -c pytorch
# CUDA 11.3
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.3 -c pytorch
# CUDA 11.6
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.6 -c pytorch -c conda-forge
# CPU Only
conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cpuonly -c pytorch
# ROCM 5.1.1 (Linux only
pip install torch==1.12.0+rocm5.1.1 torchvision==0.13.0+rocm5.1.1 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/rocm5.1.1
# CUDA 11.6
pip install torch==1.12.0+cu116 torchvision==0.13.0+cu116 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu116
# CUDA 11.3
pip install torch==1.12.0+cu113 torchvision==0.13.0+cu113 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu113
# CUDA 10.2
pip install torch==1.12.0+cu102 torchvision==0.13.0+cu102 torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cu102
# CPU only
pip install torch==1.12.0+cpu torchvision==0.13.0+cpu torchaudio==0.12.0 --extra-index-url https://download.pytorch.org/whl/cpu
在linux下配置pytorch1.8.0+cuda11.1+pytorch-geometric
https://pytorch-geometric.com/whl/torch-1.8.0%2Bcu111.html
pip install torch_scatter-2.0.6-cp38-cp38-linux_x86_64.whl
pip install torch_sparse-0.6.9-cp38-cp38-linux_x86_64.whl
pip install torch_cluster-1.5.9-cp38-cp38-linux_x86_64.whl
pip install torch_spline_conv-1.2.1-cp38-cp38-linux_x86_64.whl
pip install torch-geometric
conda info -e
conda activate pytorch1.8
conda list
conda update -n base conda
conda install python==3.8
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch
conda list
python
>>> import torch
>>> torch.__version__
>>>torch.cuda.is_available()
conda install torch_scatter-2.0.6-cp38-cp38-linux_x86_64.whl
pip install torch_sparse-0.6.9-cp38-cp38-linux_x86_64.whl
pip install torch_cluster-1.5.9-cp38-cp38-linux_x86_64.whl
pip install torch_spline_conv-1.2.1-cp38-cp38-linux_x86_64.whl
pip install torch-geometric
安装之前需要查看服务器的cuda版本,
再查询cuda与pytorch版本的对应关系,
找到合适的pytorch进行安装。
python=3.8
torch==1.8.0+cu111
torch-scatter==2.0.6
torch-cluster==1.5.9
torch-sparse==0.6.9
torch-geometric==1.6.3
python=3.7
torch==1.1.0
torch-scatter==1.3.2
torch-cluster==1.4.5
torch-sparse==0.4.3
torch-spline-conv==1.1.1
torch-geometric==1.3.2
torchvision==0.3.0
python==3.6
torch==1.3.0
torch-scatter==1.3.2
torch-cluster==1.4.5
torch-sparse==0.4.3
torch-spline-conv==1.1.1
torch-geometric==1.3.2
torchvision==0.4.1
通过docker安装
在有些情况下是需要使用docker来跑深度学习环境的(现在很多大公司都是使用paas平台来部署的)。那么我们就需要使用pytorch官方的docker镜像了。我们可以在docker hub上去搜索相关镜像,https://registry.hub.docker.com/。下图是我搜索的pytorch字段的结果(点击Tags后)。
我们可以看到当前最新的docker 镜像有pytorch/pytorch:1.8.1-cuda11.1-cudnn8-devel和pytorch/pytorch:1.8.1-cuda11.1-cudnn8-runtime,对于普通开发者下载pytorch/pytorch:1.8.1-cuda11.1-cudnn8-runtime就行了。关于安装docker的过程这里不赘述。
1)我们直接通过以下指令就能pull这个镜像了
docker pull pytorch/pytorch:1.8.1-cuda11.1-cudnn8-runtime
1
2)注意,在启动镜像前需要确保已安装NVIDIA Container Toolkit,否则会报错(若已安装可直接跳过此步骤):
docker: Error response from daemon: could not select device driver “” with capabilities: [[gpu]].
安装NVIDIA Container Toolkit,参考官方文档:https://github.com/NVIDIA/nvidia-docker
这里以Centos7为例:
首先根据你的系统类型以及版本下载对应.repo文件到/etc/yum.repos.d
distribution=$(. /etc/os-release;echo I D ID IDVERSION_ID)
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
清空yum的过期缓存数据(如果不是root用户需要加sudo)
yum clean expire-cache
安装NVIDIA Container Toolkit(如果不是root用户需要加sudo)
yum install -y nvidia-docker2
重启docker服务(如果不是root用户需要加sudo)
systemctl restart docker
3)通过docker启动pytorch1.8.1容器
docker run --gpus all --rm -it --ipc=host pytorch/pytorch:1.8.1-cuda11.1-cudnn8-runtime
4)进入容器后可以通过nvidia-smi看到所有的GPU设备信息
5)接着进入python环境简单测试下pytorch能否正常调用GPU(打印True为成功)
import torch
torch.cuda.is_available()