创建scrapy爬虫项目以及scrapy框架的文件介绍

一   1. 在window命令提示符里面创建scrapy项目

python -m scrapy startproject + name

scrapy startproject + name

2.在window命令提示符里面的scrapy项目中创建爬虫名称和网址

python -m scrapy genspider +spider_name  +  url  (不加双引号/单引号)

scrapy genspider +spider_name  +  url 

3.在window命令提示符里面的scrapy项目中创建爬虫名称和网址  之后运行爬虫项目

python -m scrapy crawl +spider_name

scrapy crawl +spider_name

在pycharm的terminal中创建scrapy爬虫项目

二   1.在pycharm中创建scrapy项目爬虫请求响应的步骤

文件说明:

scrapy.cfg项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中)

items.py设置数据存储模板,用于结构化数据,如:Django的Model

pipelines.py数据处理行为,如:一般结构化的数据持久化

settings.py配置文件,如:递归的层数、并发数,延迟下载等

spiders爬虫目录,如:创建文件,编写爬虫规则

注意:一般创建爬虫文件时,以网站域名命名

创建写爬虫的文件

# scrapy genspider +名称 + '网站'

#建立爬虫文件 

scrapy genspider itcast"itcast.cn"

2.创建完之后文件结构

注意:

你可能感兴趣的:(创建scrapy爬虫项目以及scrapy框架的文件介绍)