scrapy学习笔记0828-下
1.爬取动态页面
我们遇见的大多数网站不大可能会是单纯的静态网站，实际中更常见的是JavaScript通过HTTP请求跟网站动态交互 获取数据（AJAX），然后使用数据更新HTML页面。爬取此类动态网 页需要先执行页面中的JavaScript代码渲染页面，再进行爬取。
在这里我们采用scrapy官方推荐的Splash渲染引擎，我们需要通过docker来安装splash并使其运行起来，这里就暂时不展开，安装好splash之后还需要安装调用库，
pip install scrapy-splash
在settings.py中开启splash的配置
# settings.py
# Splash 服务器地址
SPLASH_URL = 'http://localhost:8050'
# 开启 Splash 的两个下载中间件并调整 HttpCompressionMiddleware 的次序
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}
# 设置去重过滤器
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
# 如果你使用 Splash 的 Http 缓存，还需要指定一个自定义的缓存后台存储介质
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
运行代码如下，
# -*- coding: utf-8 -*
import scrapy
from scrapy_splash import SplashRequest
class QuotesSpider(scrapy.Spider):
name = "quotes"
allowed_domains = ["quotes.toscrape.com"]
start_urls = ["http://quotes.toscrape.com/js/"]
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url, args={"images": 0, "timeout": 3})
def parse(self, response):
for sel in response.css("div.quote"):
quote = sel.css("span.text::text").extract_first()
author = sel.css("small.author::text").extract_first()
yield {"quote": quote, "author": author}
href = response.css("li.next > a::attr(href)").extract_first()
if href:
url = response.urljoin(href)
yield SplashRequest(url, args={"images": 0, "timeout": 3})
-
端点（Endpoint）：
- Splash 提供了一个 HTTP API，你可以通过发送 HTTP 请求到 Splash 服务器的特定端点来实现不同的功能。以下是一些常用的端点：
/execute：执行 Lua 脚本。/render.html：渲染页面并返回 HTML 源码。/render.png：渲染页面并返回截图（PNG 格式）。/render.json：渲染页面并返回 JSON 格式的详细信息，包括加载过程、资源等。
- Splash 提供了一个 HTTP API，你可以通过发送 HTTP 请求到 Splash 服务器的特定端点来实现不同的功能。以下是一些常用的端点：
-
参数（Arguments）：
- 你可以在请求中传递不同的参数来控制 Splash 的行为。例如：
url：要渲染的页面 URL。wait：等待加载的时间（秒）。lua_source：要执行的 Lua 脚本。images：是否加载图像。- 其他自定义参数。
- 你可以在请求中传递不同的参数来控制 Splash 的行为。例如：
-
属性（Attributes）：
- Splash 的响应中包含了一些有用的属性，例如：
html：渲染后的 HTML 源码。png：渲染后的截图（PNG 格式）。har：加载过程的详细信息（HTTP Archive 格式）。
- Splash 的响应中包含了一些有用的属性，例如：
-
方法（Methods）：
- Splash 提供了一些方法，例如：
splash:go(url)：加载指定的 URL。splash:wait(time)：等待指定的时间。splash:runjs(js_code)：执行 JavaScript 代码。- 其他自定义方法。
- Splash 提供了一些方法，例如：
splash可以执行我们自定义的lua代码，通过excute端点。
2.最重要的分布式爬取
由于受到计算能力和网络带宽的限制，单台计算机上运行的爬虫在 爬取的数据量较大时，需要耗费很长的时间。分布式爬取的思想是“人 多力量大”，在网络中的多台计算机上同时运行爬虫程序，共同完成一 个大型爬取任务。
Scrapy本身并不是一个为分布式爬取而设计的框架，但第三方库 scrapy-redis为其拓展了分布式爬取的功能，两者结合便是一个分布式 Scrapy爬虫框架。在分布式爬虫框架中，需要使用某种通信机制协调 各个爬虫的工作，让每一个爬虫明确自己的任务，其中包括： （1）当前的爬取任务，即下载+提取数据（分配任务）。 （2）当前爬取任务是否已经被其他爬虫执行过（任务去重）。 （3）如何存储爬取到的数据（数据存储）。 scrapy-redis利用Redis数据库作为多个爬虫的数据共享实现以上 功能，接下来我们学习如何使用scrapy-redis进行分布式爬取。
pip install redis
pip install scrapy-redis首先我们需要多台主机，其中一台安装redis作为我们的主要节点，同时要修改redis配置文件，将绑定地址设置为0.0.0.0
在配置文件settings.py中添加scrapy-redis的相关配置
# 必选项
# ==================================================================
# 指定爬虫所使用的Redis数据库（在云服务器116.29.35.201 上）
REDIS_URL = 'redis://116.29.35.201:6379'
# 使用scrapy_redis的调度器替代Scrapy 原版调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 使用scrapy_redis的RFPDupeFilter作为去重过滤器
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 启用scrapy_redis的RedisPipeline将爬取到的数据汇总到Redis数据库
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 300,
}
# 可选项
# ==================================================================
#爬虫停止后，保留／清理Redis中的请求队列以及去重集合
# True：保留，False：清理，默认为False
SCHEDULER_PERSIST = True之后，想要把我们的单机代码修改为分布式版本，只需要做如下修改
from scrapy_redis.spiders import RedisSpider
# 1.更改基类
# class BooksSpider(spider.Spider):
class BooksSpider(RedisSpider):
...
# 2.注释start_urls
#start_urls = ['http://books.toscrape.com/']完成！并不需要大修大改，其他的请求调度，入队出队全部都在scrapy-redis中完成了.
之后在你的服务器上运行scrapy即可！
运行后，由于Redis中的起始爬取点列表和请求队列都是空的，3 个爬虫都进入了暂停等待的状态，因此在任意主机上使用Redis客户端 设置起始爬取点
$ redis-cli -h 116.29.35.201
116.29.35.201:6379> lpush books:start_urls 'http://books.toscrape.com/
(integer) 1完成之后便可以在redis中看到我们爬取到的数据