机器学习环境的搭建和使用----anaconda/jupyter/tensorflow-gpu /opencv等 安装和常用使用方法总结
目录大纲
- 1. 环境说明
- 2. Anaconda安装和常用使用技巧总结
- 2.1 基本安装
- 2.2 pip、conda更换国内源和常用方法
- 2.2.1 pip
- 2.2.1 conda
- 2.3 anaconda虚拟环境使用
- 2.4 anaconda常见命令总结
- 2.5 anaconda如何干净地卸载重装
- 3. jupyter使用和常用技巧总结
- 3.1 jupyter notebook常用插件、安装包及其设置
- 3.1.1安装jupyter notebook插件**jupyter_contrib_nbextensions**
- 3.1.2 jupyter notebook添加kernel内核（windows）
- 3.2常用指南
- 4. tensorflow-cpu/tensorflow-gpu安装和验证
- 4.1 tensorflow-CPU安装
- 4.2 tensorflow-GPU 安装
- 4.3 tensorflow1.x & 2.x文件相关兼容性问题
- 5. 机器学习常用库函数
- References：
前言
俗话说工欲善其事必先利其器。想要学好高大的AI大法，不先安好工具、熟悉常用技能这怎么能快速速成呢？
鄙人很早前最开始想安装个虚拟系统一步到位，结果发现tensorflow-gpu运行不了；行吧，那安装tensorflow-gpu先安装个ubuntu16.04吧,但是又是安装nvida驱动，又是cuda,cudcnn，然后又是各种版本不对应的乱七八糟事情，搞来搞去搞得最后开不了机（真的是一笔血泪史！）。反复重装n遍。
天！还没开始学习就准备放弃了！要是真有个良心文档能告诉我 anaconda可以自动帮你安装tensorflow-gpu匹配安装的cuda,cudnn的话 ，还需要这么费事么？
所以希望给那些开始上路像我这样的小白同学们留下最通俗易懂、最详细、最好用的AI大法攻略，后续也会持续不断更新技术栈、分享干货。欢迎有缘人关注我的微信公众号，大家共同进步！
1. 环境说明
本人电脑环境：
64位win10 + intel i5 + 12G ram + NVIDIA GTX 1060
注意：
检查本机是否适合安装GPU版本tensorflow
安装GPU版本的tensorflow需要安装cuda和cudnn
所以需要检查cuda是否支持本机gpu，需要计算能力大于3.1
查看本机显卡配置，对比官网的显卡型号是否支持；
具体过程：
（1）对比cuda官方显卡型号支持：
官方链接地址
GeForce系列
(2)查看本地显卡配置
我的电脑 -> 属性 -> 设备管理器 -> 显示适配器
(3)如果未在支持范围，建议安装CPU版本tensorflow，只是运行时间较慢，功能并无差异，或者使用云平台等。
2. Anaconda安装和常用使用技巧总结
Anaconda是一个方便的python包管理和环境管理软件，一般用来配置不同的项目环境。
我们常常会遇到这样的情况，正在做的项目A和项目B分别基于python2和python3，而第电脑只能安装一个环境，这个时候Anaconda就派上了用场，它可以创建多个互不干扰的环境，分别运行不同版本的软件包，以达到兼容的目的。
Anaconda通过管理工具包、开发环境、Python版本，大大简化了你的工作流程。不仅可以方便地安装、更新、卸载工具包，而且安装时能自动安装相应的依赖包，同时还能使用不同的虚拟环境隔离不同要求的项目。
2.1 基本安装
Anaconda 是跨平台的，有 Windows、macOS、Linux 版本，我们这里以 Windows 版本为例，点击那个 Windows 图标。
(1)下载地址：https://www.anaconda.com/download/
(2)安装过程比较简单，就是一直next按键按下去就可以了，其中有一步值得注意，记得勾选如下：
Advanced Options：
两个选项都勾选上，第一个是加入环境变量，第二个是默认使用 Python 3.7，之后点击“Install”开始安装。
(3)安装完成之后，打开anaconda-> Home，点击“install” 安装例如jupyter notebook, spider等所使用的到的软件（其他看需求选择性安装）。
2.2 pip、conda更换国内源和常用方法
2.2.1 pip
-
临时更换源：
– 豆瓣：https://pypi.douban.com/simple
– 阿里https://mirrors.aliyun.com/pypi/simple
使用命令：
pip install -i https://pypi.douban.com/simple 模块名
- windows下永久配置源：
1、新建文件路径：进入 C:\Users\用户\xx_name(个人电脑用户名称)
2、新建 pip 文件夹并在文件夹中新建 pip.ini 配置文件
3、新增 pip.ini 配置文件内容
linux、macos下配置源：
1、在用户根目录下 ~ 下创建 .pip 隐藏文件夹，如果已经有了可以跳过
– mkdir ~/.pip
2、进入 .pip 隐藏文件夹并创建 pip.conf 配置文件
– cd ~/.pip && touch pip.conf
3、启动 Finder(访达) 按 cmd+shift+g 来的进入，输入 ~/.pip 回车进入
4、新增 pip.conf 配置文件内容
配置文件内容：
[global]
index-url = http://pypi.douban.com/simple
[install]
use-mirrors =true
mirrors =http://pypi.douban.com/simple/
trusted-host =pypi.douban.com
2.2.1 conda
（1）更改成清华下载源
win10环境：
打开Anaconda Prompt,输入如下两段代码：
A.添加清华下载源命令
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
B. 设置搜索时显示通道地址
conda config --set show_channel_urls yes
另外，可以在进入 C:\Users\用户\xx_name(个人电脑用户名称)
查看.condarc中显示内容。
Linux下
添加内容相同，将以上配置文件写在~/.condarc中（如果没有此文件，新建一个即可）
（1）创建condarc文件
vi ~/.condarc
（2）写下如下内容：
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- defaults
show_channel_urls: true
（3）生效
source ~/.condarc
2.3 anaconda虚拟环境使用
2.3.1 使用anaconda prompt,输入特定指令
创建虚拟环境：
使用 conda create -n your_env_name python=X.X（2.7、3.6等），anaconda 命令创建python版本为X.X、名字为your_env_name的虚拟环境。your_env_name文件可以在Anaconda安装目录envs文件下找到。 指定python版本为2.7，注意至少需要指定python版本或者要安装的包， 在不指定python版本时，自动安装最新python版本。
conda create -n env_name python=2.7
同时安装必要的包
conda create -n env_name_xx(虚拟环境名称) numpy matplotlib python=3.7
激活虚拟环境：
使用如下命令即可激活创建的虚拟环境
Linux: source activate your_env_name(虚拟环境名称)
Windows: activate your_env_name(虚拟环境名称)
此时使用python --version可以检查当前python版本是否为想要的（即虚拟环境的python版本）。
退出虚拟环境：
使用如下命令即可退出创建的虚拟环境
Linux: source deactivate your_env_name(虚拟环境名称)
Windows:deactivate env_name （也可以使用`activate root`切回root环境）
删除虚拟环境：
使用命 即可删除:
conda remove -n your_env_name(虚拟环境名称) --all
删除虚拟环境中的包：
使用命令
conda remove --name $your_env_name $package_name
$your_env_name：（选择的虚拟环境）
$package_name：：（想要删除的包名）
2.3.2 打开anaconda主界面，图形化操作
打开anaconda主界面->
Enviroment->
create(创建虚拟环境)/clone(复制现在的虚拟环境)/import(导入原来虚拟环境)/Remove（删除选中虚拟环境）
如果想要安装或者卸载软件包，也可以用如下图像化方法操作：
2.4 anaconda常见命令总结
虚拟环境相关
-列出所有已有虚拟环境
conda env list
conda info -e
-创建新的虚拟环境
conda create -n env_name python=version
-激活并进入虚拟环境
conda activate env_name
-删除一个已有的虚拟环境(以下两条指令均可)
conda env remove -n env_name
conda remove –name env_name –all
-分享代码的时候,同时也需要将运行环境分享给大家
conda env export > env.yaml
-用对方分享的YAML文件来创建一模一样的运行环境
conda env create -f env.yaml
管理软件包相关
–管理指定虚拟环境的包
conda install package_name -n env_name
conda install package_name
conda install pack_xx=version (指定安装包的版本)
–删除包
conda remove package_name
–更新包
conda update package_name
–列出所有已安装的包
conda list
–搜索包
conda search package_name
Jupyter 运行Anaconda的虚拟环境相关
conda activate env_name
conda install ipykernel (注意：在虚拟环境中安装ipykernel)
python -m ipykernel install --name env_name --display-name "env_name" (写入Jupyter的kernel中)
jupyter notebook
2.5 anaconda如何干净地卸载重装
https://blog.csdn.net/kuweicai/article/details/90145242?utm_source=distribute.pc_relevant.none-task
3. jupyter使用和常用技巧总结
3.1 jupyter notebook常用插件、安装包及其设置
3.1.1安装jupyter notebook插件jupyter_contrib_nbextensions
（可以进行代码自动补全，自动生成目录，代码格式自动调整等功能）
命令：
conda install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user --skip-running-check
重启一下会有相关插件显示，选择hiterland(自动代码补全选项)
注意：
如果安装总是提示需要pyhamcrest>=1.9.0的话，那就重新安装一下
pip install pyhamcrest
PS:（安装没有正常显示出不显示Nbextensions标签参考如下链接）
https://blog.csdn.net/u011318077/article/details/85475622
3.1.2 jupyter notebook添加kernel内核（windows）
可以解决在jupyter notebook中不能使用不同的虚拟环境编译问题
（例如，一个tensorflow2.0的文件，在jupyternotebook打开后可能没有找到tensorflow2.0的内核版本，只有base的虚拟环境，无法正常运行）
注意：其中{xxx}, 表示的是xxx的名字
- Step1:使用anaconda创建：
:: 创建指定名字（也是目录名）的虚拟环境
conda create -n {xxx}
:: —可选参数—
:: 指定python版本（将会从网上下载）
python={X.X}
:: 最后可以添加模块名一并安装到环境中，比如下面这样可以直接跳过下面的第三步
conda create -n {name} ipykernel
- Step2: 激活虚拟函数
如果你使用anaconda，则方便一些：
activate {name}
- Step3：为该python安装ipykernel(已安装可忽略)也可以使用anaconda的方法：
conda install ipykernel
- Step4:运行ipykernel安装指令
（1）在虚拟环境下创建kernel文件：
conda install -n env_xxx(虚拟环境名称) ipykernel
（2）激活conda环境：
activate name_xxx (环境名称)
（3）将环境写入notebook的kernel中：
python -m ipykernel install --user --name xxx_env_name（虚拟环境名称） --display-name "xxx_env_name(环境名称)"
（4）打开notebook服务器：jupyter notebook
浏览器打开对应地址，新建python，就会有对应的环境提示了
3.2常用指南
基础操作和页面功能：
https://www.jianshu.com/p/061c6e5c4b0d
jupyter notebook奇巧淫技：
https://www.zhihu.com/question/266988943
4. tensorflow-cpu/tensorflow-gpu安装和验证
4.1 tensorflow-CPU安装
只需要一句话就可以了
Tensorflow 1.X 安装:
pip install --index-url https://pypi.douban.com/simple tensorflow==1.14.0
或
pip install --index-url http://mirrors.aliyun.com/pypi/simple/ tensorflow==1.14.0
Tensorflow 2.X 安装: (豆瓣源, 注意要是 https, 有个s )
pip install -i https://pypi.doubanio.com/simple/ tensorflow==2.0
4.2 tensorflow-GPU 安装
win10 + anaconda + tensorflow-gpu-1.14.0
（1）添加一下清华的下载源,参上2.2.1
注意：
conda的下载源中一定要有–defaults， 因为有一个tensorflow-base-1.14.0是从官网下载的，清华下载源没有。这个开始下载比较慢，网速不好的时候，比较慢，多下几次就好了，只有95mb左右。
（2）检查显卡计算能力是否满足算力>3.0（达到gpu版本要求），参见1.环境说明
（3）检查nvidia驱动>410, 如比较低的话，升级成最新驱动:
A.cmd命令窗口，查看nvidia驱动版本：
Nvidia-smi
显示如下（我的驱动是441.87>410，可以直接使用）：
（如果看不到的相关nvidia信息的话，将路径C:\Program Files\NVIDIA Corporation\NVSMI添加到环境变量-path里面）
B.如果版本较低，在新英伟达官网更新最新官方驱动 参见 ：链接
C. 驱动下载官网地址：
https://www.geforce.cn/drivers
(4)查看相关库中所拥有的tensorflow-gpu版本
在anaconda prompt使用如下命令：
anaconda show anaconda/tensorflow-gpu
选择在不同虚拟环境中，分别安装tensorflow-gpu-1.14.0 和 tensorflow-gpu-2.0.0.下面以1.14.0为例
（5）创建虚拟环境一定要python3.6， 最好不用python3.7，会有点问题。
命令：
conda create -n xxxx_name（具体虚拟环境名称） python=3.6.3
-----------（以上皆是非必须，真正安装只是下面的一句话而已）--------------------
(6) 直接在anaconda虚拟环境里面安装tensorflow-gpu（它会自动帮忙安装相关的cuda, cudnn等依赖环境，非常方便）
conda install tensorflow-gpu==1.14.0
验证
可以在anaconda prompt中 -> 进入相关虚拟环境 -> python-> 输入如下代码片段验证
import tensorflow as tf
print(tf.__version__)
4.3 tensorflow1.x & 2.x文件相关兼容性问题
tensorflow2.0兼容1.x版本方法：
除了使用contrib模块之外的其他情况（例如slim），在开头加入如下代码后1.x和2.x基本可以兼容：
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
5. 机器学习常用库函数
（1）tensorflow-gpu=1.14.0
参上面tensorflow安装
（2）机器学习/画图/代码常用库：
Numpy/ Scipy /Scikit-learn /Pandas/ Matplotlib /autopep8
命令：
conda install numpy scipy scikit-learn pandas matplotlib
conda install autopep8
（3）安装opencv
注意！！！！：opencv一定不要安装高于3.4.2的版本，因为后面版本部分功能api开始收费，无法正常使用。
方法1（注意查看好版本，否则可能无法正常使用）：
点击打开Anaconda-Navigator，选择左侧Environments，然后选择All，在搜索栏搜索opencv，勾选三个选项，分别是libopencv、opencv、py-opencv，最后点击apply。
稍等片刻就安装完成了。
方法2（推荐）：
pip安装opencv-contrib
点击开始，然后打开Anaconda Prompt命令行。
在命令行中输入
pip install opencv-contrib-python==3.4.2.16
注意！！！！：一定不要安装高于3.4.2的版本，因为后面版本部分功能api开始收费，无法正常使用。
安装成功！
测试用例
点击打开Anaconda-Navigator，点击Jupyter Notebook下的launch。
在本地浏览器会自动打开一个网页端的python环境，然后点击新建下的python3，创建一个notebook代码编辑环境。
把以下代码复杂粘贴到编写框，把图片（本例中使用lena.jpg）放到当前目录，点击Run或直接Ctrl+Enter运行代码。
import cv2
img = cv2.imread("./lena.jpg")
cv2.imshow("lena", img)
cv2.waitKey(0)
cv2.destroyAllWindows()
如果能正常输出图片，说明opencv安装没有问题。
接着输入以下代码
sift = cv2.xfeatures2d.SIFT_create()
运行后，如果跟下图一样没有报错提示，说明opencv-contrib也安装成功。
References：
https://blog.csdn.net/ITLearnHall/article/details/81708148
https://blog.csdn.net/huanyingzhizai/article/details/89298964
http://baijiahao.baidu.com/s?id=1601883438842526311&wfr=spider&for=pc
https://www.cnblogs.com/yzl0/p/11490752.html
等