深度学习相关软件安装整理
================================================================================================================
软件安装总结:
1:软件环境配置
(1)最新版anconda安装:官网下载对应版本安装 https://www.anaconda.com/download/
(2)pycharm 安装: http://www.jetbrains.com/pycharm
Professional:专业版需要注册码 server选项里边输入url。或者server选项里边输入url
Community: 社区版免费
pycharm汉化: 复制粘贴resources_cn.jar放在PyCharm的lib文件里
2:如何更新pip
命令:
python -m pip install -U pip
python2 -m pip install -U pip
python3 -m pip install -U pip
注意: 需要以管理员身份运行cmd
需要把pip的路径添加到环境变量path
3:如何使用pip安装graphviz, pydotplus:
安装python的graphviz插件： pip install graphviz
安装python的pydotplus插件： pip install pydotplus
注意: 环境变量path,将对应的python路径添加到系统变量,尤其是有多个版本python时
4:如何使用pip安装hmmlearn:
pip install hmmlearn
会报错,解决办法
报错:Microsoft Visual C++
解决方法:安装 visual studio (https://www.visualstudio.com/zh-hans/downloads/)
报错: notebook 5.4.0 requires ipykernel, which is not installed.
解决命令: pip install ipykernel
报错: Failed building wheel for hmmlearn
从 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的hmmlearn轮子(wheel)
将轮子拷贝到C:\Users\dell\Anaconda3\Scripts,用以下命令安装hmmlearn:
解决命令: pip install C:\Users\dell\Anaconda3\Scripts\hmmlearn-0.2.1-cp36-cp36m-win_amd64.whl
其他失败的尝试:
python -m pip install --upgrade pip setuptools wheel
pip install --upgrade wheel
pip install C:\Users\dell\Anaconda3\Scripts\lxml-4.2.1-cp36-cp36m-win_amd64.whl
Requirement already satisfied: lxml==4.2.1 from file:///C:/Users/dell/Anaconda3/Scripts/lxml-4.2.1-cp36-cp36m-win_amd64.whl in c:\users\dell\anaconda3\lib\site-packages (4.2.1)
5:如何添加jupyter路径:
C:\Users\dell.jupyter
jupyter_notebook_config.py
c.NotebookApp.notebook_dir = ‘G:\PYTHON’
1.打开cmd,输入 jupyter notebook --generate-config
2.打开这个配置文件，找到“c.NotebookApp.notebook_dir=‘’ ”，把路径改成自己的工作目录
3.配置文件修改完成后， 以后在jupyter notebook中写的代码等都会保存在自己创建的目录中。
打开jupyter所在文件快捷位置,右击属性,把目标里路径最后 %uerfile% 这一部分删去,应用确定
6: 安装主题模型LDA第三方库:lda.datasets
pip install lda
7: 安装中文分词包:jieba (结巴) 切词
pip install jieba
8: 安装tensorflow
http://mirrors.aliyun.com/pypi/simple/tensorflow-gpu/
从 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的tensorflow轮子(wheel)
将轮子拷贝到C:\Users\dell\Anaconda3\Scripts,用以下命令安装tensorflow:
解决命令: pip install C:\Users\dell\Anaconda3\Scripts\tensorflow-1.7.0-cp36-cp36m-win_amd64.whl
import tensorflow as tf
tf.version
卸载tensorflow:
pip uninstall tensorflow
安装gpu版本tensorflow: tensorflow_gpu-1.9.0-cp36-cp36m-win_amd64.whl
pip install tensorflow-gpu
conda install -c anaconda tensorflow-gpu
更新conda
conda update -n base conda
或
conda update conda
ubuntu系统下的tensorflow版本安装包:
https://blog.csdn.net/geyunfei_/article/details/78753899
9: 安装lightgbm
pip install lightgbm
-
安装 xgboost
pip install C:\Users\dell\Anaconda3\Scripts\xgboost-0.71-cp36-cp36m-win_amd64.whl -
IDE安装: wing ide
12.hadoop环境安装
–1. 安装VMware workstation 虚拟机
–2. 安装CentOS-6.4-x86_64-bin-DVD1.iso
-
安装pydub包:切割音乐包
pip install pydub -
安装python_speech_features 提出语言特征包
pip install python_speech_features -
安装 ffmpeg 官网下载
免安装 把bin路径添加到环境变量, 重启IDE -
pytorch 安装(官方网页选择对应版本,命令自己出来) window python3.6
cpu版本：
pip install http://download.pytorch.org/whl/cpu/torch-0.4.0-cp36-cp36m-win_amd64.whl
pip install torchvision
卸载：
pip uninstall torch
pip uninstall torchvision
gpu版本：
pip install http://download.pytorch.org/whl/cu90/torch-0.4.1-cp36-cp36m-win_amd64.whl
pip install torchvision -
如何看cuda版本:
控制面板-系统信息-组件-看cuda版本
在桌面空白处点击右键，进入NVIDIA控制面板。
在打开的窗口左下角有个“系统信息”，单击后出现窗口选择“组件”标签，这时就能看到各个组件的版本信息了。
NVCUDA.DLL 23.21.13.8816 NVIDIA CUDA 9.1.75 driver -
安装cuda
建议参考以下视频:http://www.bilibili.com/video/av7676039/
cuda的下载地址：https://developer.nvidia.com/cuda-downloads
https://developer.nvidia.com/cuda-toolkit-archivecudnn的下载地址：https://developer.nvidia.com/cudnn
https://developer.nvidia.com/rdp/cudnn-archive
windows 安装cudnn
cudnn 是英伟达的一个加速库
首先要安装好cuda
在英伟达网站 https://developer.nvidia.com/rdp/cudnn-download 下载与cuda对应的库，
需要注册一个账号
下载之后解压缩，将.h .lib 和.dll 文件分别拷贝到cuda的include, lib/x64, bin 文件夹下 -
pycuda的安装
cuda一般是指采用C语言编程实现的GPU cuda架构，pycuda就是指使用python语言实现的cuda架构，同属于nvidia显卡加速并行计算架构。pycuda的安装也比较简单，方法如下：
1.下载whl文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda
需要选择自己合适的版本，包括python版本，cuda版本，windows 32/64.
2.在cmd下运行pip install pycuda-2014.1+cuda6514-cp27-none-win32.whl,需要注意的是需要把whl文件放到你的home文件下，或者cd在它下载的文件所在的位置即可。
3.测试，测试代码如下：
import pycuda.autoinit
import pycuda.driver as drv
import numpy
from pycuda.compiler import SourceModule -
安装Progressbar模块
pip install progressbar2 -
安装Progress模块
pip install progress -
推荐系统
Surprise安装
-1. 安装方式一(需要依赖numpy)：
执行命令：pip install scikit-surprise
可能出现异常：Windows报错01.png
异常原因：Windows平台上的C环境存在问题
解决方案：
安装C的开发环境，解压安装Microsoft Visual C++ 14.0.rar即可
-2. 推荐使用conda的安装
执行命令：conda install -c conda-forge scikit-surprise -
安装opencv库
pip install opencv-python -
NER项目，安装flask,gevent包
pip install gevent -
安装opencv3
anaconda上下载包 -
安装python sqlite3模块包。
pip install sqlite3
SQLite 是一个软件库，实现了自给自足的、
无服务器的、零配置的、事务性的 SQL 数据库引擎。
SQLite 是在世界上最广泛部署的 SQL 数据库引擎。
SQLite 源代码不受版权限制。 -
安装tqdm模块Tqdm 。
pip install tqdm
Tqdm是一个快速，可扩展的Python进度条，
可以在 Python 长循环中添加一个进度提示信息，
用户只需要封装任意的迭代器 tqdm(iterator)。 -
安装selectivesearch模块：Selective Search算法，图像分割—region proposal算法
pip install selectivesearch -
Deep contextualized word representations
深度上下文词向量训练
ELMo vector:
pip install allennlp -
imgaug是一个封装好的用来进行图像augmentation的python库,
支持关键点(keypoint)和bounding box一起变换。
pip install imgaug -
gensim是一个python的科学库，gensim包含了TF-IDF、随机投影、
word2vec和document2vec算法的实现，分层Dirchlet过程（HDP），
潜在语义分析（LSA）和潜在Dirichlet分配（LDA），
包括分布式并行版本。主要是用来主题建模、文档索引以及使用
大规模语料数据的相似性检索，被作者称为“根据纯文本进行监督
性建模最健壮、最有效的、最让人放心的软件”。pip install gensim
from gensim.models import word2vec -
Chainer 使复杂神经网络变的简单
https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100460
Chainer使用纯Python和NumPy提供了一个命令式的API
Chainer是一个专门为高效研究和开发深度学习算法而设计的开源框架。
Chainer 是一个基于Python的独立的深度学习框架。pip install chainer -
torchtext
Torchtext 是一个非常强有力的库，她可以帮助我们解决 文本的预处理问题。
Torchtext 不仅可以和 pytorch 一起用，还可以和其它深度学习框架(tf,mxnet,…)
https://blog.csdn.net/u012436149/article/details/79310176pip install torchtext API一览 torchtext.data torchtext.data.Example : 用来表示一个样本，数据+标签 torchtext.vocab.Vocab: 词汇表相关 torchtext.data.Datasets: 数据集类，__getitem__ 返回 Example实例 torchtext.data.Field : 用来定义字段的处理方法（文本字段，标签字段） 创建 Example时的 预处理 batch 时的一些处理操作。 torchtext.data.Iterator: 迭代器，用来生成 batch torchtext.datasets: 包含了常见的数据集. -
keras模块
keras是基于Tensorflow、Theano、CNTK后端的高层神经网络API，它简单快速的原型设计，让你可以快速的将idea转化为结果，并且可以在CPU和GPU之间无缝切换
由于Keras不是独立的深度学习(DL)算法包，其安装必须依赖于后端系统的安装，特别是对GPU的支持，因此其安装并非那么简单。
在windows系统下，需要事先安装Theano开发包，并使Theano支持GPU运算。
关于Theano的安装参考Theano官方网站的安装教程，网址是: http://deeplearning.net/software/theano/install.htmlpip install keras
-
Theano安装
（1） 在GitHub上可下载到Theano的源码。点击Cloneor download按钮–> 点击Download ZIP即可开始下载,如图。
GitHub地址：https://github.com/Theano/Theano，下载后文件为Theano-master.zip
（2）删除Theano文件夹
由于安装Keras后默认会得到一个Theano库，而我们需要使用下载的Theano，所以先把原版的Theano库给删掉。在F:\ProgramData\Anaconda2\Lib\site-packages里删theano文件夹即可。
（3）复制Theano文件夹
解压上面下载的文件Theano-master.zip。复制Theano-master文件下的theano文件夹，复制到Anaconda安装目录下的F:\ProgramData\Anaconda2\Lib\site-packages中即可。
（4）配置环境变量
在环境变量中添加一个系统变量，变量名为PYTHONPATH，值为F:\ProgramData\Anaconda2\Lib\site-packages\theano
{
“floatx”: “float32”,
“epsilon”: 1e-07,
“backend”: “tensorflow”,
“image_data_format”: “channels_last”
}
（5）修改默认后端（这一步一定要进行！否则会报错！）
打开C:\Users\dell（当前用户名）.keras,修改文件夹内的keras.json文件如下：
{“image_dim_ordering”:“th”,
“epsilon”:1e-07,
“floatx”:“float32”,
“backend”:“theano”
}
再在cmd，python中输入import keras , 出现Using Theano backend.表示安装成功。 -
安装 wget
pip install wget -
caffe环境配置:【caffe-Windows】caffe+VS2013+Windows无GPU快速配置教程
https://blog.csdn.net/zb1165048017/article/details/51355143
第一步:下载caffe官网提供的工具包，复制Windows下CommonSettings.props.example，后缀改为CommonSettings.props，如下：
第二步:由于我电脑无GPU，所以修改复制过来的CommonSettings.props配置文件：
修改 PythonSupport 为 ture MatlabSupport
修改 PythonDir MatlabDir
第三步:双击Windows下的caffe.sln，在VS2013中生成解决方案：
第四步:当下载完毕第三方库，你的caffe-Windows并列文件夹下会有一个第三方库的文件夹
CaffeDev下面有2个文件夹: caffe-master和NugetPackages
【注】caffe-windows和caffe-master对caffe.cpp编译以后下载的第三方库都是十六个文件夹。
第五步:生成libcaffe, caffe,
第六步:caffe下 运行caffe.cpp，按ctrl+F5进行编译2018.9.24 编译了libcaffe, caffe, pycaffe, convert_mnist_data,
convert_imageset, caffe.managed, classification, compute_image_mean,
convert_cifar_data, convert_mnist_siamese_data, extract_features,
test_all, upgrade_net_proto_binary, upgrade_net_proto_text,
upgrade_solver_proto_textmatcaffe未生成
Cygwin:在windows平台上运行的类UNIX模拟环境
-
git安装
https://blog.csdn.net/lemon_cookie/article/details/79058151
https://blog.csdn.net/shuyou612/article/details/53183683git --version
官网下载, 直接安装 -
MoviePy 视频处理模块
pip3 install moviepy -
flask-restful模块安装: No module named ‘flask_restful’
pip install flask-restful -
从github上安装配置keras-retinanet
代码网址:https://github.com/fizyr/keras-retinanet
在指定目录git bash-克隆代码: git clone https://github.com/fizyr/keras-retinanet.git
进入克隆好的代码目录里git bask-执行以下命令:
pip install . --user
python setup.py build_ext --inplace
安装 pycocotools(MS COCO dataset):windows系统执行以下命令
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI -
安装mxnet的python版本（GPU版本）
windows系统:
pip install mxnet-cu80 #cuda8.0版本
pip install mxnet-cu90 #cuda9.0版本
ubuntu系统: https://blog.csdn.net/will4906/article/details/78221427
pip install mxnet-cu80
pip install mxnet-cu90 -
VMware安装
可以在官网直接下载,下载后秘钥可直接在网上搜寻
VMware下载与安装:最新超详细VMware虚拟机下载与安装 https://blog.csdn.net/qq_40950957/article/details/80467513
秘钥:
CG54H-D8D0H-H8DHY-C6X7X-N2KG6
ZC3WK-AFXEK-488JP-A7MQX-XL8YF
AC5XK-0ZD4H-088HP-9NQZV-ZG2R4
ZC5XK-A6E0M-080XQ-04ZZG-YF08D
ZY5H0-D3Y8K-M89EZ-AYPEG-MYUA8
FF590-2DX83-M81LZ-XDM7E-MKUT4
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD
AALYG-20HVE-WHQ13-67MUP-XVMF3
注意: 需要安装VMwaretools, ubuntu虚拟机才能全屏 -
vmware上ubuntu16.04系统安装
VMware上安装ubuntu16.04:https://www.cnblogs.com/ddbear/p/7736912.html
ubuntu-16.04.2-server-amd64.iso##Ubuntu 16.04版本下载地址:
##url: https://blog.csdn.net/q7989682/article/details/82459578?utm_source=blogxgwz6关于如何在VMware虚拟机里安装Ubuntu16.04系统:
服务版: https://jingyan.baidu.com/article/5d368d1ec381fe3f60c0572a.html##桌面版安装: https://blog.csdn.net/u013142781/article/details/50529030虚拟系统安装完,检查网络连接
报错: network error: connectiong to ‘‘192.168.1.107’’ refused
ssh: connect to host 192.168.1.107 port 22: connection refused
https://zhidao.baidu.com/share/17f3e1e6700c559b6036f6e49d82fd5c.html
请按如下步骤检查：
1、目标主机的ssh server端程序是否安装、服务是否启动，是否在侦听22端口；
检查方法：
june@ubuntu:~$ ps -ef|grep sshd
root 2859 1 020:29 ? 00:00:00 /usr/sbin/sshd -D
root 2901 2859 020:31 ? 00:00:00 sshd: june[priv]
june 2971 2901 020:31 ? 00:00:00 sshd:june@pts/1#其中/usr/sbin/sshd为ssh clinet/server中server端的守护进程，如果上述结果中没有sshd出现，那么 #可能就是你的server端程序没有安装 #Ubuntu 11.04 默认没有安装ssh server，只安装了ssh client #或者sshd服务没有启动，这两者的解决办法请见下文详述。 2、是否允许该用户登录； 3、本机是否设置了iptables规则，禁止了ssh的连入/连出； 检查方法： june@ubuntu:~$sudo iptables -L [sudo] password for june: Chain INPUT (policy ACCEPT) target prot opt source destination ACCEPT tcp -- anywhere anywhere tcp dpt:ssh Chain FORWARD (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination june@ubuntu:~$ 4、查查ssh的配置文件 ls -lrt /etc/ssh 针对第一点没有安装ssh server或者没开启sshd的用户，可以参考这篇： Ubuntu如何开启SSH服务 SSH分客户端openssh-client和openssh-server #如果你只是想登陆别的机器的SSH只需要安装openssh-client #（ubuntu有默认安装，如果没有则sudo apt-get install openssh-client）， #如果要使本机开放SSH服务就需要安装openssh-server： #sudo apt-get install openssh-server 然后确认sshserver是否启动了： ps -e |grep ssh 如果看到sshd那说明ssh-server已经启动了。 如果没有则可以这样启动：sudo /etc/init.d/ssh start ssh-server配置文件位于/etc/ssh/sshd_config，在这里可以定义SSH的服务端口，默认端口是22，你可以自己定义成其他端口号，如222。 然后重启SSH服务： sudo /etc/init.d/ssh stop sudo /etc/init.d/ssh start 然后使用以下方式登陆SSH： ssh [email protected] tuns为192.168.0.100机器上的用户名，需要输入密码。 断开连接：exit
44.安装vmwaretools: https://www.cnblogs.com/huangjianxin/p/6343881.html
成功安装后， ctrl+alt+enter就可以把ubuntu虚拟桌面全屏
小经验：如果没有全屏，tx2刷机到了components manager这一步就无法点下一步
tar zxf VMwareTools-10.0.10-4301679.tar.gz
sudo ./vmware-tools-distrib/vmware-install.pl
一直回车
sudo reboot #需要重启