Anaconda Tensorflow 安装
Anaconda是现在非常流行的python包管理器,通常先安装anaconda,然后再安装scikit-learn,tensorflow等,还可以创建不同的环境,比如分别安装tensorflow1.x和tensorflow2.x版,指定不同版本的python,所安装的不同环境可以打包,和docker创建的镜像一样,放到hdfs上,执行hive udf函数的时候加载,指定python中加载tensorflow模型,预测输入数据,产出离线表。
1.anaconda安装
官网https://www.anaconda.com/download/#windows 下载anaconda,选择对应的版本,目前大部分都会选择python3的版本,下载软件。
1.1 window和mac安装方式比较相似。
下载完成后双击软件,最简单的是一路next下去,也可以指定不同的安装路径。注意如果是window系统下,要手动勾选这个对话框,设定默认环境变量。
1.2 anaconda 历史版本
目前anaconda官网支持的默认python是3.7,但是看到有些帖子说部分tensorflow版本运行有些莫名报错,所以稳妥起见使用python3.6的这个版本,需要从anacona的历史版本中下载anaconda,官网地址是https://repo.anaconda.com/archive/ ,清华大学开源软件镜像站地址是https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/, 随便哪个都可以,速度看个人所在网络了。
anaconda2对应的是python2.x的版本,anaconda3对应的是python3.x的版本,基于python3.6的anconda版本号是从anaconda3-4.3.0 到anaconda3-5.2.0,可以选择安装最新的anaconda3-5.2.0,选好对应的版本(系统+32位/64位)。
1.3 anaconda linux安装命令
当前版本软件名为Anaconda3-5.2.0-Linux-x86_64.sh,进入到包含该软件包的目录下,执行如下命令安装。
bash Anaconda3-5.2.0-Linux-x86_64.sh
安装过程中有三个提示,其中是默认设定到环境下,选择yes,如果正常执行,说明添加到默认环境中,安装其他库是可以直接使用conda;如果没有权限,则无法添加到环境变量中,才会出现下图的报错信息,anaconda是按照成功,不过使用conda命令的时候需要显示制定conda的路径,下文2.3处会介绍。
2.1 Macbook上 安装tensorflow1.15 cpu版本为例
打开anaconda,Environment->Create",可以创建不同环境, 对于每个环境,都需要指定python的版本号和环境名字,创建即可。
创建之后,environments侧会多出一个环境,这个选择指定环境,点击右键,会出现一个页面,选择opend terminal,进入该环境的命令行。
左边显示的是环境的名字,说明已经进入该环境,接下来输入“ python -V” 查看python是否为3.6版本,是否安装成功。
接下来就可以安装其他的库, 推荐使用conda install 命令,而不是使用pip install命令,因为conda 安装一个软件会把相关的依赖都列出来,并一起安装,而pip安装只安装指定的软件,之后还需要手动安装该软件对应的其他依赖,比较麻烦,所以推荐使用conda命令。
tensorflow1.x和tenforflow2.x语法差别比较大,一般会创建两个环境,每个环境指定对应的版本号,比如安装tensorflow1.15版本,命令行输入“conda install tensorflow=1.15 ” ,回车后命令行提示 " Proceed ([y]/n)? " , 再输入“y”即可。
查看tensorflow是否安装成功以及相应的版本号,在命令行中,输入“python” 回车,进入到python交互模式下,会输出当前python的版本号,然后输入“ import tensorflow as tf” 并回车后,继续输入" print(tf.__versin__)" ,注意是前后都是两个下划线,如果显示tensorflow版本号,说明安装成功。
接下来可以安装其他库,一般还会安装scikit-learn,即执行" conda install scikit-learn " 即可。
2.2 window下安装tensorflow1.15
和macbook下类似,不多说
2.3 linux下安装tensorflow1.15
由于linux没有图形界面,需要显示输入指定命令,下面为正常情况下的操作。
2.3.1 创建一个python3.6的环境,并激活这个环境(mac和window下使用图形界面来操作了)。
conda create -n python36_tf15_cpu python=3.6
source activate python36_tf15_cpu
2.3.2 安装制定库
安装tensorflow1.15版本,命令行输入“conda install tensorflow=1.15 ”
conda install tensorflow=1.15
安装scikit-learn,命令行输入“conda install scikit-learn”
conda install scikit-learn
2.3.3 linux下的打包刚创建的环境(和docker做镜像一个效果)
进入到该安装目录中,进入evns下, 这时会出现python36_tf15_cpu文件夹,即刚创建的环境,打包压缩该环境为tgz文件,
压缩命令: tar zcvf python36_tf15_cp.tgz ./python36_tf15_cp
然后将该压缩环境上传到hdfs上,这样在shell脚本中执行hive udf函数时,可以加载配置的该环境(安装tensorflow等,可以进行预测)。
( 注:解压命令:tar zxvf FileName.tgz)
2.3.4 anaconda安装成功,但是anaconda没有加入到系统环境时
anaconda的安装目录是anaconda3,进入该目录下后,ls查看目录下各文件如下图所示,表示安装anaconda成功
在上述没有添加默认环境变量的前提下,如果直接执行"conda install tensorflow" 会报错没有这个命令,就是上面没有权限添加到环境变量中,注意这里已经进入anaconda3的安装目录下,需调用 "bin/conda install tensorflow",才可以;如果当前在anaconda3的上一级,需要指定 " anaconda3/bin/conda install tensorflow ", 如果不指定版本,默认是最新版,这里只是样例说明。
3. pycharm关联指定的anaconda环境
pycharm官网下载:https://www.jetbrains.com/pycharm/download/ ,选择社区免费版本Community,下载软件,然后双击软件安装,最简单的就是一路next。
创建新项目,指定当前项目空间为刚刚配置好的anaconda环境,选中Existing interpreter,然后选中“...”,
然后进入到现有环境下,选中“conda environment” ,右侧选中自己conda中对应的环境,由于这里我只有一个环境,下拉列表只有一个,然后ok,回到上个页面,点击create即可。
在pycharm中新建一个py文件,输入同样的查看tensorflow版本命令,run验证是否成功,run出现版本号说明pycharm配置成功。