爬虫实战三、PyCharm搭建Scrapy开发调试环境

一、环境准备

• Python开发环境以及Scrapy框架安装，参考：爬虫实战一、Scrapy开发环境（Win10+Anaconda）搭建

• PyCharm安装和破解，参考：爬虫实战二、2019年PyCharm安装（激活到2100年）

二、PyCharm配置Scrapy

2-1、创建Python项目

注意，由于无法使用PyCharm直接创建Scrapy项目，因此需要先创建普通的Python项目。

创建普通Python项目mySpider。

图片.png

选择项目位置。

TIM截图20190215160105.png

2-2、配置Project Interpreter

点击File-> Settings->Project: mySpider->Project Interpreter。

TIM截图20190215161633.png

注意此截图已经配置好完毕，如果没有Project Interpreter，点击下图红框处添加。

TIM截图20190215163513.png

添加Project Interpreter。

TIM截图20190215163542.png

注意：如果有多个Python版本，为防止冲突可以选择第一个虚拟环境，此处我只有一个环境，选择配置系统解释器。

TIM截图20190215164629.png

根据自身实际情况进行选择。

TIM截图20190215164832.png

2-3、添加Scrapy的相关包

解释器安装完毕，点击右下方的+号，查询包

TIM截图20190215164951.png

安装包，依次安装：

lxml -> zope.interface -> pyopenssl -> twisted -> scrapy

一般情况下Anaconda已经安装了很多类库，我们只需安装scrapy即可。显示蓝色代表已经安装成功。

TIM截图20190215165030.png