编写简单爬虫（python环境搭建windows）

使用python编写爬虫，爬取网站（windows64后续更新linux）

1、安装指南

·        A、Python 2.7

• 链接：https://pan.baidu.com/s/1p3cEBWu90N8nHnIlb3Frcw 密码：5tu6
• 安装后将安装目录添加到环境变量内
• 在PATH内添加两个路径
• ${pythonPayh};${pythonPayh}/Scripts
• 在命令行输入
• ${pythonPayh}\python.exe ${pythonPayh}\Tools\Scripts\win_add2path.py

·        关闭并重新打开命令行窗口，使之生效。运行接下来的命令来确认其输出所期望的Python版本:

·        python --version

B、 安装 pywin32

链接：https://pan.baidu.com/s/1URN4odrlfhRHZSKsl02RVg 密码：quf6

C、安装 pip

链接：https://pan.baidu.com/s/1HjxUQNJSR9_axmN5Si5eaQ 密码：gspu   

进入到pip的解压目录，执行python setup.py install进行安装，安装完成之后出现finished说明安装成功

pip–version  检查是否成功安装标识

 

执行pip list如果识别就说明安装成功

如果pip list不识别，检查一下是否将${pythonPayh}/Scripts正确添加到环境变量

D、安装Scrapy:

pipinstallScrapy

·        scrapy.cfg: 项目的配置文件

·        tutorial/: 该项目的python模块。之后您将在此加入代码。

·        tutorial/items.py: 项目中的item文件.

·        tutorial/pipelines.py: 项目中的pipelines文件.

·        tutorial/settings.py: 项目的设置文件.

·        tutorial/spiders/: 放置spider代码的目录.

执行名称是缺少出现No module named PyMySQL

下载： https://pypi.org/project/PyMySQL/#files

执行python setup.py install

问题加qq群：605335073