scrapy框架爬取项目大概思路

1.创建一个新的Scrapy项目。
创建项目
scrapy startproject 爬虫项目名称

制作爬虫
scrapy genspider 爬虫文件名称
域名:制作爬虫开始爬取网页

明确目标
编写[items.py]：明确你想要抓取的目标

2.到创建的爬虫文件里面(提取目标数据和url,以及域名)

爬虫文件

class ZzwSpider(scrapy.Spider):
# 爬虫文件名称
name = 'zzw'
# allowed_domains:设置域(可以指定多个)
allowed_domains = ['chinaz.com']
# 设置起始的url(可以指定多个)
start_urls = ['http://top.chinaz.com/']

3.到items.py里面编写要爬取的字段

标题

title = scrapy.Field()

创建时间

create_date = scrapy.Field()

4.再到setting.py里面配置文件(设置请求头,下载延时,是否遵守robot协议,激活管道文件)

默认为True,需要我们手动改为False

ROBOTSTXT_OBEY = False

默认请求头

DEFAULT_REQUEST_HEADERS = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8',

'Accept-Language': 'en',

'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',

}

在这里进行管道文件的激活,管道文件后面跟的数字,表示优先级,数字越小,优先级越高

ITEM_PIPELINES = {
'chinaz.pipelines.ChinazPipeline': 300,
}

两种类型根据需求选择
1.mongodb数据库相关配置
MONGO_HOST = '127.0.0.1'
MONGO_POST = '27017'
MONGO_DB = 'chinaz1805'

2.关于mysql的一些配置信息
MYSQL_HOST = '127.0.0.1'
MYSQL_USER = 'root'
MYSQL_PWD = 'xiaoming'
MYSQL_DB = 'chinaz1805'
MYSQL_CHARSET = 'utf8'

5.pipelines.py:数据管道(在这里做数据的过滤和持久化)