scrapy项目新建

初始化项目文件

项目环境

推荐一键式安装anaconda，可以设置虚拟环境，具体可以自己查阅

使用命令行新建项目

cd 项目路径(以爬取jobbole)
scrapy startproject jobboleSpider
scrapy genspider jobbole blog.jobbole.com

项目目录

• jobboleSpider
  -spiders
  ---_init_.py
  ---jobbole.py
  -_init_.py
  -item.py
  -middlewares.py
  -pipelines.py
  -settings.py
• scrapy.py

为避免项目从命令行运行，新建一个启动文件，名称随意，这里以main.py为例
main.py

from scrapy import cmdline
cmdline.execute('scrapy crawl jobbole'.split())

至此，前期准备工作就绪