scrapy

创建项目

cmd中:
scrapy startproject

创建爬虫

在项目中
scrapy genspider 项目名 入口url   #在项目目录下

运行项目

cmd中:
scrapy crawl 爬虫名

或
在项目中创建运行.py文件,运行该文件(创建main.py写以下内容)

from scrapy import cmdline
# 跑程序
cmdline.execute('scrapy crawl 爬虫名'.split())
# 保存爬取的东西到json
cmdline.execute('scrapy crawl douban_spider -o ../json/豆瓣top250.csv'.split())

你可能感兴趣的:(scrapy)