2018-06-30数据爬虫环境配置

1、下载python，并进行配置

1.1、在cmd命令下对pip进行更新，与Python版本一致：

python -m pip install --upgrade pip

1.1.1、并安装一些包：

pip install (requests、bs4、lxml(需要先安装wheel-pip install wheel)、pangdas、openpyxl、pymongo、pyecharts(用于生成 Echarts 图表的类库)、xlrd、xlwt、pyamf(PY3AMF))

想获取更多的包：https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

2、下载JDK，并配置

2.1、新建名为classpath的变量名，变量的值可以设置为   .；%JAVA_HOME\lib；%JAVA_HOME\lib\tools.jar

2.2、新建名为JAVA_HOME的变量名，变量的值为安装的JDK路径位置，默认是  D：\Java\jdk1.8.0_101\

2.3、在系统变量path的变量值中加上   %JAVA_HOME%\bin；%JAVA_HOME%\jre\bin

3、下载eclipse，并在其中安装pydev（开发环境：eclipse+pydev）

3.1、下载地址为：http://www.eclipse.org/downloads/eclipse-packages/，下载完后，解压就可以直接使用，Eclipse不需要安装

3.2、 在Eclipse中安装pydev插件。启动Eclipse，点击Help->Install New Software，在弹出的对话框中，点击Add按钮。在Name中填：Pydev，在Location中填 http://pydev.org/updates，一直点next，安装完pydev插件后，需要配置pydev解释器。在Eclipse菜单栏中，点击Windows→Preferences。在对话框中，点击PyDev→Interpreter-Python。点击New按钮，选择python.exe的路径，打开后显示出一个包含很多复选框的窗口，点击OK即可。

注：也可以使用PyCharm编辑器，特点是跨平台，在MacOS、Linux和Windows下都可以用。下载地址为：http://www.jetbrains.com/pycharm/download/#

4、安装编辑器sublime text3,并配置Python在sublime中

5、安装Mongodb及可视化软件robot3t

windows下MongoDB的安装及配置：https://blog.csdn.net/heshushun/article/details/77776706

PyMongo官方文档翻译：https://www.cnblogs.com/zhouxuchen/p/5544227.html

6、安装抓包工具charles

教程见：https://www.jianshu.com/p/fb2bdde5b498