pycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm

适用对象:在做机器学习/数据科学相关,Online Jupyter已经不适合,需要在本地搭建环境的朋友们..

过去的一段时间,我一直在研究深度学习相关。在这个领域目前最常见的语言和事实上的标准是Python。与任何其他编程语言和工具一样,总是需要学习和熟悉的众多工具和框架,以便充分利用它们。 你可以花费和浪费无数时间来学习如何安装和配置各种数据科学包,如Numpy,Matplotlib,TensorFlow等,并解决各种包依赖关系。

这时,如果你遇到Anaconda,它应该会成为你最好的朋友——因为它会帮你减轻入门的挫败感。 Anaconda发行版附带1000多个数据包,包括 conda和虚拟环境管理器。

在这篇文章中,我们将探讨如何使用Anaconda安装Jupyter Notebook并开始使用Tensorflow和Keras来开始深度学习。Jupyter Notebook非常有助于您熟悉数据科学项目中想要实现的任何内容。并帮你再AI时代脱颖而出,可以参考下文:凯恩博:分享你的Jupyter Notebook,在AI时代脱颖而出​zhuanlan.zhihu.compycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm_第1张图片

Anaconda的一个小问题

虽然Anaconda很好,但是目前它和TensorFlow配合上有一点小问题:目前官网最新的Anaconda是集成Python 3.7的环境,注意是Python 3.7。

而Python 3.7和当前最新的TensorFlow 稳定版是不兼容的!

所以这里我将以自己利用Anaconda安装TensorFlow的经验分享于你, 介绍如何在集成Python 3.7的Anaconda安装Python 3.6和TensorFlow-GPU。

电脑配置(供参考)

这里是我的电脑配置,供参考。 当然这只是一个入门级的配置。Windows 10 Pro (Version 1803)

Intel(R) Core(TM) i7-8700 CPU @ 3.20 GHz (6核心/12超线程)

16 GB Memory

1 TB Hard Disk

NVIDIA GeForce GTX 1070

下面进入正题,建议按照这个顺序来安装是比较合理的。

一、创建Python 3.6环境

右键管理员启动anaconda Prompt

创建python36这个环境:

conda create --name python36 python=3.6

进入python36这个环境

conda activate python36

如果有需要回到 Python 3.7

如下:

conda deactivate

二、安装 tensorflow-gpu

确认已经安装显卡驱动

如果没装,请先到NVIDIA官网下载(本文是针对NVIDIA显卡,如果是Intel或者AMD显卡,请先哭一会...)

注意:我们并不需要单独安装CUDA Toolkit 或者cuDNN。因为在安装TensorFlow-GPU的时候,这两个libraries会被自动安装。在安装TensorFlow-GPU之后,用conda list 查看,可以看到cudatoolit和cudnn的版本,我的如下:cudatoolkit 9.0、cudnn 7.3.1。感谢 @洛冰河 的提醒。

开始装TensorFlow-gpu

先确保是在python36这个环境下:

conda activate python36

开始安装:

conda install tensorflow-gpu

需要装很多文件的,如果网速慢的话,估计需要几十分钟到几小时的。如果可以考虑更换到找一个更好的源(已经超出本文范围)。

检查TensorFlow是否已安装好

在python36里,进入python,然后输入:

import tensorflow as tf

hello = tf.constant('Hello , Tensorflow! ')

sess = tf.Session()

print(sess.run(hello))

预期输出

b'Hello , Tensorflow! '

如果OK就对啦,当然,你可以能回到如下问题:

遇到mkl_intel_thread.dll无法找到的问题

解决办法(这也是Anaconda官方推荐的方案):

在conda prompt:

conda update python

再一次,需要装很多文件的,如果网速慢的话,估计需要几十分钟。

设置环境变量的值(可以在conda prompt设置,但下次就无效了;如需永久,在电脑环境变量设置) set CONDA_DLL_SEARCH_MODIFICATION_ENABLE = 1

Disable GPU的Log信息

可能会有一堆的Warning,例如

2019-03-07 17:25:51.878252: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2

2019-03-07 17:25:52.221768: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1432] Found device 0 with properties:

name: GeForce GTX 1070 major: 6 minor: 1 memoryClockRate(GHz): 1.683

pciBusID: 0000:01:00.0

totalMemory: 8.00GiB freeMemory: 6.64GiB

2019-03-07 17:25:52.227274: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1511] Adding visible gpu devices: 0

2019-03-07 17:25:52.655576: I tensorflow/core/common_runtime/gpu/gpu_device.cc:982] Device interconnect StreamExecutor with strength 1 edge matrix:

2019-03-07 17:25:52.658983: I tensorflow/core/common_runtime/gpu/gpu_device.cc:988] 0

2019-03-07 17:25:52.660728: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1001] 0: N

2019-03-07 17:25:52.662681: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 6396 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1)

解决办法:

在Python Code前设置log等级:

import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

查看TensorFlow和Keras版本:

import tensorflow as tf

from tensorflow.keras import layers

print(tf.VERSION)

print(tf.keras.__version__)

输出

1.12.0

2.1.6-tf

三、配置Jupyter Notebook

进入python36:

conda activate python36

需要先安装ipykernel

命令如下:

conda install ipykernel

python -m ipykernel install --user --name python36 --display-name "Python (Python 3.6)"

输出:

Installed kernelspec python36 in C:\Users\***\AppData\Roaming\jupyter\kernels\python36

修改Jupyter的根目录

Jupyter个根目录默认在当前用户的Home路径。 这里示例将其改为D:\Jupyter路径 找到Jupyter Notebook的启动快捷方式,默认路径在: C:\Users\******\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Anaconda3 (64-bit)

找到它的属性 -> 快捷方式,默认为(这里我是将Anaconda3安装在了D盘的根目录的):

D:\Anaconda3\python.exe D:\Anaconda3\cwp.py D:\Anaconda3 D:\Anaconda3\python.exe D:\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%

把里面的%USERPROFILE% 替换为 D:\Jupyter,即可。

以后再通过Jupyter Notebook的快捷方式启动,根目录就在D:\Jupyter了。

四、配置PyCharm

虽说有了Jupyter Notebook,已经可以很方便的调试和查看Code,但是对于大一点的程序,还是直接在PyCharm里面编写比较方便。在PyCharm中新建Project

在“Project Interpreter”中选择“Existing interpreter”

选择Python36这个路径下的python.exe作为interpreter

当然,除了PyCharm还有很多其他Python IDE是很推荐的,可以看这篇《推荐AI必备语言Python的几款IDE》。

在PyCharm中测试

创建一个.py文件,还是用TensorFlow的例子,当然这次高级一点,来比较一下CPU和GPU的时间差异:

import tensorflow as tf

import timeit

import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# See https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth

config = tf.ConfigProto()

config.gpu_options.allow_growth = True

with tf.device('/cpu:0'):

random_image_cpu = tf.random_normal((100, 1000, 100, 3))

net_cpu = tf.layers.conv2d(random_image_cpu, 32, 7)

net_cpu = tf.reduce_sum(net_cpu)

with tf.device('/gpu:0'):

random_image_gpu = tf.random_normal((100, 1000, 100, 3))

net_gpu = tf.layers.conv2d(random_image_gpu, 32, 7)

net_gpu = tf.reduce_sum(net_gpu)

sess = tf.Session(config=config)

# Test execution once to detect errors early.

try:

sess.run(tf.global_variables_initializer())

except tf.errors.InvalidArgumentError:

print(

'如果出了这个Error表示GPU配置不成功!\n\n')

raise

def cpu():

sess.run(net_cpu)

def gpu():

sess.run(net_gpu)

# Runs the op several times.

print('Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images '

'(batch x height x width x channel). Sum of ten runs.')

print('CPU (s):')

cpu_time = timeit.timeit('cpu()', number=10, setup="from __main__ import cpu")

print(cpu_time)

print('GPU (s):')

gpu_time = timeit.timeit('gpu()', number=10, setup="from __main__ import gpu")

print(gpu_time)

print('GPU speedup over CPU: {}x'.format(int(cpu_time / gpu_time)))

sess.close()

输出:

Time (s) to convolve 32x7x7x3 filter over random 100x1000x100x3 images (batch x height x width x channel). Sum of ten runs.

CPU (s):

25.24234085335886

GPU (s):

1.5711942943447745

GPU speedup over CPU: 16x不错~ 这个任务GPU和6个i7的CPU相比快了16倍!!

总结

为了安装使用TensorFlow-GPU,Anaconda提供简单、快速的安装方式。非常推荐!

最后说一点,工具是前提,配置好了之后还是要更多的专注在算法、模型和原理上。推荐机器学习和深度学习的书单凯恩博:人工智能2018 深度学习最佳书单​zhuanlan.zhihu.compycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm_第2张图片Kaggle比赛入门:凯恩博:如何在Kaggle排行榜取得好成绩——Kaggle新人参加Digit Recognition的经历​zhuanlan.zhihu.compycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm_第3张图片如果对PyTorch感兴趣的朋友,可以继续看这篇文章凯恩博:PyTorch的初步尝试:安装和Tutorial​zhuanlan.zhihu.compycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm_第4张图片对于TensorFlow 2.0 版本感兴趣的朋友可以看这篇 2.0的安装和填坑小结凯恩博:TensorFlow 2.0 Alpha的初步尝试:安装及填坑小记​zhuanlan.zhihu.compycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm_第5张图片

欢迎点赞,欢迎留言交流~

你可能感兴趣的:(pycharm配置python3.6_Windows10配置Anaconda+Python3.6+TensorFlow+PyCharm)