配置Python数据分析和数据可视化环境的虚拟机

Python数据分析和数据可视化环境配置-通过虚拟机的形式

由于将要对一批学员进行数据分析相关的培训教学，而工作环境不能上网，不能实时联网利用pip包进行安装，所以我就打算通过虚拟机的方式事先将电脑的软件环境配置好，然后所有的培训电脑都装虚拟机的方式，完成离线配置任务，培训的主要内容有：数据清洗、数据分析、数据可视化、软件工程（数据库+GUI编程），还带有一部分内网的数据爬虫，所以我就选择了Anaconda+PyCharm+PyQt5+MySQL+PyEcharts的路线，花费了整整一个大星期的时间，分别完成了win10环境和win7环境的虚拟机配置，之所以耗费这么长时间，一个主要的原因是我有点儿软件上的洁癖【汗。。。】，想着作为离线培训用的基础环境，我不能容忍将失败后再卸载的操作发生，而是经过自己不断摸索从而完全一次到位的配置虚拟机，而且虚拟机没有使用镜像，因为每建立一次镜像，虚拟机的体积就增大了不少。。。另一个原因就是在这个过程中当然需要踩不少的坑，例如：
1）Anaconda中的Spyder与配置PyCharm时安装PyQt5包时的冲突问题——由于Spyder中用到了Qt，而Anaconda集成的Qt版本较老，所以直接利用pip install pyqt5安装后，就会发现打不开Spyder了。。。
2）安装nbextensions包时与jupyterNotebook存在兼容性问题——这个后来发现是nbconvert从6.0版本后将template_path改为了template_paths，所以在打开Jupyter Notebook的时候会显示大量错误，虽然不影响使用，但是对于有洁癖的人来说完全无法忍受，后来我终于根据错误提示信息把这个给解决了，应该是第一次把！
3）配置离线PyEcharts的问题——PyEcharts真是一个好东西哎，那些很酷的数据驾驶舱中的动态图用PyEcharts来绘制，也就是几句代码的事，而且这个还是我们国内出品（Echarts是百度做的，PyEcharts是chenjiandong几个人做的，致敬大神！），最坑的就是当我配置好所有环节后，也在自己家里的上网的电脑上测试了相关代码，测试时发现一切都ok，但是真正将配置好的虚拟机拷贝到离线电脑上面后，发现竟然都画不出来图了，无论是在jupyterNotebook中利用.render_notebook()方法，还是利用.render(文件名.html)的方式，都不能显示图，也在网上找了很多原因，很多都没有说到点子上，当然这与PyEcharts从0.x版本升级到1.x版本变化过大有关，最后发现是网页在渲染时竟然都还需要到PyEcharts官网上面去下载assets中的js文件，真的是无语，后来又到GitHub上面将这些离线资源都下载下来，然后配置一下才算解决。。。

下面首先来记录一下整个的虚拟机配置的历程吧：

1.基础系统套餐目录：

Win10系统：cn_windows_10_consumer_editions_version_1803_updated_march_2018_x64_dvd_12063766.iso
杀毒软件：360sd_x64_5.0.0.8140.exe （经验表明，培训电脑虽然都是离线不上网，但还是要安装一个杀毒软件，不然很low的病毒到处都是）
办公软件：W.P.S.10228.20.2706.exe （金山Office真的太好了，才150M，Word、Excel、PowerPoint、PDF全搞定！）
notepadplus.6.2.2.Installer.exe （增强型的记事本软件，用来打开py程序真的是不要太好）
wrar36b3sc.exe （解压必备）
XMind 8 Update 8 专业版0921.exe （思维导图）
飞秋FeiQ2013.exe （局域网传输文件必备）
************************************************************************

2.Python编程工具套餐目录：

Anaconda3-2020.11-Windows-x86_64.exe (Python数据分析环境集成包，包含了几乎大部分Python包，以及Spyder和JupyterNotebook这两大神器！注意，安装时出现安装在哪个账户下，如果选择所有人的话，就会安装在C:\ProgramData\Anaconda3目录下，我就是这么选择的；如果选择当前用户的话，就安装在C:\Users\用户...目录下)
pycharm-community-2020.3.exe （除了Spyder和JupyterNotebook这两大神器之外的Python编程第三神器）
jdk-11.0.7_windows-x64_bin.exe （安装MySQL的基础环境）
HeidiSQL_10.2.0.5704_Setup.exe （开源的数据库客户端，小巧玲珑但功能强大，与Navicat相比关键在免费开源）
mysql-installer-community-8.0.19.0.exe  (MySQL数据库)
************************************************************************

3.虚拟机配置之Python编程包套餐目录：

（注：Python均安装在C:\ProgramData\Anaconda3\Lib\site-packages目录下）
jieba （分词）
wordcloud （词云）
pyecharts （动态可视化）
beautifulsoup4 （爬虫解析）
opencv-contrib-python （图像处理）
pymysql （MySQL数据库支持）
pymongo （Mongo非关系型数据库支持）
nltk （自然语言理解）
scrapy （爬虫）
nbextensions （JupyterNotebook扩展工具，增强JupyterNotebook的使用便捷性，很多实用的小功能，例如：选择高亮、变量查看、目录导航、编译时间、代码折叠凳，几乎将JupyterNotebook扩展成IDE了）
pyqt5
pyqt5-tools
pyqt5designer
最后就是为PyCharm配置了Qt Designer\PyUIC\qrcTOpy三个扩展工具
***********************************************************************
所有的配置全部完成后，在保存虚拟机的时候，记得清理一下虚拟机，可以减少好几GB的空间（我的理解就是在安装上面的软件的时候，那些删除到虚拟机回收站的都可以清理了）

今天就先说到这儿，那些踩过的坑待后面再一一详解！最后就是记录下所有的命令吧：

利用pip 安装
------------------------------------------------------------------
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple #永久配置方法
pip install packageName -i https://mirrors.aliyun.com/pypi/simple/ #临时配置方法
https://pypi.tuna.tsinghua.edu.cn/simple/    # 清华大学
https://mirrors.aliyun.com/pypi/simple/        # 阿里云
https://pypi.douban.com/simple/                # 豆瓣
https://pypi.mirrors.ustc.edu.cn/simple/    # 中国科学技术大学
https://pypi.hustunique.com/                # 华中科技大学

pip install jieba
pip install wordcloud
pip install pyecharts
pip install beautifulsoup4
pip install opencv-contrib-python
pip install pymysql
pip install pymongo
pip install nltk

conda 安装（scrapy无法通过pip安装成功，而且conda安装也经常出错，最坑的就是我家里的移动光纤网络无法安装成功，但是我用手机热点就可以，无语ing~）
------------------------------------------------------------------
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
conda install scrapy

------------------------------------------------------------------
#pip install pyqt5==5.12.3 -i https://mirrors.aliyun.com/pypi/simple/ #选择阿里云的源速度要比清华的快很多
pip install pyqt5-tools==5.12.3.1.6rc1 #安装pyqt5-tools时实际上会自动安装上门的pyqt5，所以不用执行上面的一句
pip install pyqtwebengine==5.12.1 #上面的pyqt5-tools安装以后，提示说Spyder需要pyqtwebengine，所以安装并注意版本
pip install pyqt5designer
------------------------------------------------------------------
//在PyCharm中配置定制工具
为PyCharm添加3个自定义Qt工具菜单（Settings-->Tools-->External Tools-->...）
(1).在PyCharm中打开Qt设计器的工具：
Name:Qt Designer
Program: C:\ProgramData\Anaconda3\Lib\site-packages\pyqt5_tools\Qt\bin\designer.exe
     或者C:\ProgramData\Anaconda3\Lib\site-packages\qt5_applications\Qt\bin\designer.exe
Arguments: (空着)
Working directory: $ProjectFileDir$ (利用插入宏按钮插入即可)
(2).将Qt设计器设计的*.ui文件转换为对应的*.py文件的工具（从而可以直接在Python项目中使用，方法为：from 该*.py文件名 import UI_Window模块）：
Name:PyUIC
Program: C:\ProgramData\Anaconda3\python.exe
Arguments: -m PyQt5.uic.pyuic $FileName$ -o $FileNameWithoutExtension$.py(利用插入宏按钮插入即可)
Working directory: $FileDir$ (利用插入宏按钮插入即可)
(3).将Qt设计器中使用的*.qrc资源文件转换为对应的*.py文件的工具：
Name:qrcTOpy
Program: C:\ProgramData\Anaconda3\Scripts\pyrcc5.exe
Arguments: $FileName$ -o $FileNameWithoutExtension$_rc.py(利用插入宏按钮插入即可)
Working directory: $FileDir$ (利用插入宏按钮插入即可)

-------------
#下面的nbextensions与jupyterNotebook存在兼容性问题（详情见下）
pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
pip install jupyter_nbextensions_configurator --user 
jupyter nbextensions_configurator enable --user
兼容性问题及解决：安装了nbextensions后，由于其中的nbconvert从6.0版本后将template_path改为了template_paths，所以在打开Jupyter Notebook的时候会出现错误，这时就需要进入到C:\ProgramData\Anaconda3\Lib\site-packages\nbconvert\exporters文件夹里面打开其中的templateexporter.py文件，将template_path全部替换为template_paths，注意查找替换时要用全词替换，并注意要具有管理员权限。