scrapy入门教程（二）安装和项目搭建

一、安装scrapy框架。

1、输入workon命令，进入已经设置好的一个虚拟环境。
2、安装scrapy框架。 即pip install scrapy

3、如遇到如下报错信息，进入：https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件。

5、根据自己的python环境选择合适的版本下载。

6、然后pip install 文件路径进行安装即可。

7、如遇其他错误，百度一下你就知道。此处略。

二、项目搭建部分

1. 创建项目
2. 项目文件介绍
3. 执行项目
4. 断点调试

1.1、创建项目

命令scrapy startproject 项目名称

1.2、进入到项目文件夹中

2.1、爬虫文件介绍

3.1执行项目
命令：scrapy crawl 爬虫名称

3.2、执行以上命令会报错

只需要安装pip install pypiwin32即可解决，然后再执行命令scrapy crawl 爬虫名称即可。

4.1、断点调试
由于scrapy默认不支持断点调试，手动配置断点调试.
在项目目录上新建一个debug文件，写入如下命令：

from scrapy.cmdline import execute
execute('scrapy crawl 项目名'.split())

然后再该文件上面右键使用debug运行即可。