Scrapy 框架爬虫知识、爬虫实战教程
GitHub Python库 GitHub 爬虫库 官方教程 豆瓣电影爬虫案例
1、scrapy
Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。
涉及技术应用：Scrapy、Xpath、css选择器、正则表达式（Python re 库）
2、 爬虫入门实战
目标：爬取https://www.cnblogs.com/文章
- 创建Scrapy项目
scrapy startproject cnblog- 编写item文件，根据需要爬取的内容定义爬取字段
class CnblogItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
name = scrapy.Field()
- 编写spider文件 、使用命令创建一个基础爬虫类
scrapy genspider cnblogJob "cnblog.com"编辑爬虫
# -*- coding: utf-8 -*-
import scrapy
from cnblog.items import CnblogItem
class CnblogjobSpider(scrapy.Spider):
name = 'cnblogJob'
allowed_domains = ['cnblog.com']
start_urls = ['https://www.cnblogs.com/']
def parse(self, response):
item = CnblogItem()
item['title'] = response.xpath('//a[@class="titlelnk"]/text()').extract()
item['link'] = response.xpath('//a[@class="titlelnk"]/@href').extract()
item['name'] = response.xpath('//div[@class="post_item_foot"]/a/text()').extract()
yield item- 编写pipelines文件
class FilePipeline(object):
def process_item(self, item, spider):
data = ''
with open('cnblog.txt', 'w', encoding='utf-8') as f:
titles = item['title']
links = item['link']
name = item['name']
for i, j, k in zip(titles, links, name):
data += '用户名：' + k + ' <> ' + i + ':' + j + '\n'
f.write(data)
f.close()
return item- settings文件设置（主要设置内容）
BOT_NAME = 'cnblog'
SPIDER_MODULES = ['cnblog.spiders']
NEWSPIDER_MODULE = 'cnblog.spiders'
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
#user-agent新添加
'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
#新修改
ITEM_PIPELINES = {
'cnblog.pipelines.FilePipeline': 300, #实现保存到txt文件
}- 执行命令，运行程序
scrapy crawl cnblogJob
3、知识深入
3.1、Scrapy各个组件介绍
Scrapy Engine：
引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。它也是程序的入口,可以通过scrapy指令方式在命令行启动,或普通编程方式实例化后调用start方法启动。
调度器(Scheduler)
调度器从引擎接收爬取请求(Request)并将它们入队,以便之后引擎请求它们时提供给引擎。一般来说,我们并不需要直接对调度器进行编程,它是由Scrapy主进程进行自动控制的。
下载器(Down-loader)
下载器负责获取页面数据并提供给引擎,而后将网站的响应结果对象提供给蜘蛛(Spider)。具体点说,下载器负责处理产生最终发出的请求对象 Request 并将返回的响应生成 Response对象传递给蜘蛛。
蜘蛛——Spiders
Spider是用户编写用于分析响应(Response)结果并从中提取Item(即获取的Item)或额外跟进的URL的类。每个Spider负责处理一个特定(或一些)网站。
数据管道——Item Pipeline
Item Pipeline 负责处理被 Spider 提取出来的 Item。 典型的处理有清理、验证及持久化(例如,存取到数据库中)。
下载器中间件(Downloader middle-wares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的Response。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。
Spider中间件(Spider middle-wares)
Spider 中间件是在引擎及 Spider 之间的特定钩子(specific hook),处理 Spider 的输入(Response)和输出(Items及Requests)。其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。
4、爬虫进阶实战
- 分页爬虫
- 禁止重定向、反爬
5、知识总结
- 通过网络向指定的 URL 发送请求，获取服务器响应内容。
- 使用某种技术（如正则表达式、XPath 等）提取页面中我们感兴趣的信息。
- 高效地识别响应页面中的链接信息；
- 使用多线程有效地管理网络通信交互。