PyCharm导入scrapy项目

在学习Python写爬虫的时候，scrapy是必不可少的，scrapy是使用Python进行编写的第三方框架，对于网页的爬取封装的非常完善，下面就说一下最近在学习scrapy时怎么导入PyChram中，并且运行在PyCharm。

一、安装scrapy

首先要先安装scrapy，在mac终端中输入pip3 install scrapy，然后稍等一会，等待scrapy安装成功,使用scrapy version进行测试，检查是否安装成功。

二、使用scrapy创建项目

安装好scrapy之后，就可以使用scrapy新建项目，首先在终端cd到项目存放的目录，使用scrapy startproject (项目名)，创建完成后，就可以在项目目录中找到项目，然后查看项目分支，主要包括scrapy.cfg、piplines.py、settings.py、middlewares.py、items.py、__init__init.py和spider文件夹，其中spider文件夹中又包含一个__init__.py文件，至于这几个文件的作用，可以直接去问度娘。

三、在PyCharm中打开scrapy项目

打开PyCharm，然后选择open文件，找到刚刚创建的项目，直接打开，然后进行PyCharm的Preferences中，选择Project Interpreter,这时候会看到显示[invalid] Python 3.6(scrapy)...，选择右边设置按钮，选择show all，然后左下角➕按钮，在页面中，直接点OK即可。

四、使用PyCharm运行scrapy

因为PyCharm不带scrapy运行的脚本，所以需要自己编写，在与scrapy.cfg同级目录中，创建一个python项目start.py(命名自己随便起)，写上如下代码：

from scrapyimport cmdline

cmdline.execute("scrapy crawl myspider".split())

myspider需要与自己创建的爬虫中name一致，然后点击EditConfigurations,新建一个脚本，选择python，在script path中选择刚刚的start.py，OK，然后就可以直接使用start.py运行scrapy项目。