scrapy_selenium爬取Ajax、JSON、XML网页:豆瓣电影

scrapy_selenium爬取Ajax、JSON、XML网页:豆瓣电影_第1张图片

导语

在网络爬虫的开发过程中,我们经常会遇到一些动态加载的网页,它们的数据不是直接嵌入在HTML中,而是通过Ajax、JSON、XML等方式异步获取的。这些网页对于传统的scrapy爬虫来说,是很难直接解析的。那么,我们该如何使用scrapy_selenium来爬取这些数据格式的网页呢?本文将为你介绍scrapy_selenium的基本原理和使用方法,并给出一个实际的案例。

概述

scrapy_selenium是一个结合了scrapy和selenium的爬虫框架,它可以让我们在scrapy中使用selenium来控制浏览器,从而实现对动态网页的爬取。scrapy_selenium的主要特点有:

  • 它提供了一个SeleniumRequest类,可以让我们在scrapy中发送selenium请求,而不是普通的HTTP请求。
  • 它提供了一个SeleniumMiddleware类,可以让我们在scrapy中处理selenium响应,而不是普通的HTML响应。
  • 它提供了一个SeleniumSpider类,可以让我们在scrapy中使用selenium来编写爬虫逻辑,而不是普通的scrapy.Spider类。

正文

要使用scrapy_selenium来爬取Ajax、JSON、XML等数据格式的网页,我们需要遵循以下几个步骤:

  • 安装scrapy_selenium库。我们可以使用pip命令来安装scrapy_selenium库,如下所示:
pip install scrapy-selenium
  • 配置scrapy_selenium设置。我们需要在settings.py文件中添加以下内容:
# 设置selenium驱动程序的路径
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = '/path/to/chromedriver'
# 设置selenium驱动程序的选项
SELENIUM_DRIVER_ARGUMENTS = ['--headless'] # 使用无头模式
# 启用selenium中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy_selenium.SeleniumMiddleware': 800
}
  • 编写selenium爬虫。我们需要继承SeleniumSpider类,并重写start_requests方法和parse方法,如下所示:
from scrapy_selenium import SeleniumRequest, SeleniumSpider

class MySpider(SeleniumSpider):
    name = 'my_spider'

    def start_requests(self):
        # 发送selenium请求,指定回调函数和元数据
        yield SeleniumRequest(
            url='https://example.com', # 目标网址
            callback=self.parse, # 回调函数
            meta={'proxy': self.get_proxy()} # 元数据,包含代理信息
        )

    def parse(self, response):
        # 处理selenium响应,提取数据或跟进链接
        # response为一个SeleniumResponse对象,它包含了driver属性,即浏览器驱动对象
        driver = response.driver # 获取浏览器驱动对象
        data = driver.find_element_by_xpath('//div[@id="data"]') # 通过xpath定位数据元素
        print(data.text) # 打印数据内容

    def get_proxy(self):
        #设置亿牛云 爬虫加强版代理
        #获取代理信息,返回一个字符串,格式为'user:pass@host:port'        
        proxyHost = "www.16yun.cn"
        proxyPort = "3111"
        proxyUser = "16YUN"
        proxyPass = "16IP"
        return f'{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}'

案例

为了演示scrapy_selenium如何爬取Ajax、JSON、XML等数据格式的网页,我们以豆瓣电影为例,爬取它的电影列表和详情页。我们可以发现,豆瓣电影的电影列表是通过Ajax异步加载的,而电影详情页是通过JSON格式返回的。我们的目标是爬取每部电影的名称、评分、简介和海报图片,并保存到本地。

  • 首先,我们需要创建一个scrapy项目,并安装scrapy_selenium库:
scrapy startproject douban
cd douban
pip install scrapy_selenium
  • 然后,我们需要配置scrapy_selenium设置,修改settings.py文件如下:
# 设置selenium驱动程序的路径
SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_DRIVER_EXECUTABLE_PATH = '/path/to/chromedriver'
# 设置selenium驱动程序的选项
SELENIUM_DRIVER_ARGUMENTS = ['--headless'] # 使用无头模式
# 启用selenium中间件
DOWNLOADER_MIDDLEWARES = {
    'scrapy_selenium.SeleniumMiddleware': 800
}
# 设置图片管道
ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 300
}
# 设置图片存储路径
IMAGES_STORE = 'images'
  • 接着,我们需要编写selenium爬虫,创建douban/spiders/douban.py文件如下:
from scrapy_selenium import SeleniumRequest, SeleniumSpider
from douban.items import DoubanItem

class DoubanSpider(SeleniumSpider):
    name = 'douban'

    def start_requests(self):
        # 发送selenium请求,指定回调函数和元数据
        yield SeleniumRequest(
            url='https://movie.douban.com/', # 目标网址
            callback=self.parse, # 回调函数
            meta={'proxy': self.get_proxy()} # 元数据,包含代理信息
        )

    def parse(self, response):
        # 处理selenium响应,提取数据或跟进链接
        # response为一个SeleniumResponse对象,它包含了driver属性,即浏览器驱动对象
        driver = response.driver # 获取浏览器驱动对象
        movies = driver.find_elements_by_xpath('//div[@class="list"]/a') # 通过xpath定位电影元素列表
        for movie in movies: # 遍历每部电影元素
            item = DoubanItem() # 创建一个DoubanItem对象,用于存储数据
            item['name'] = movie.get_attribute('title') # 获取电影名称属性,并赋值给item['name']
            item['url'] = movie.get_attribute('href') # 获取电影详情页链接属性,并赋值给item['url']
            yield SeleniumRequest( # 发送selenium请求,请求电影详情页,并指定回调函数和元数据
                url=item['url'], 
                callback=self.parse_detail, 
                meta={'item': item, 'proxy': self.get_proxy()} # 元数据,包含item对象和代理信息
            )

    def parse_detail(self, response):
        # 处理selenium响应,提取数据或跟进链接
        # response为一个SeleniumResponse对象,它包含了driver属性,即浏览器驱动对象
        driver = response.driver # 获取浏览器驱动对象
        item = response.meta['item'] # 获取元数据中的item对象
        data = driver.find_element_by_xpath('//div[@id="info"]') # 通过xpath定位数据元素
        item['rating'] = data.find_element_by_xpath('.//strong').text # 获取评分元素的文本,并赋值给item['rating']
        item['summary'] = data.find_element_by_xpath('.//span[@property="v:summary"]').text # 获取简介元素的文本,并赋值给item['summary']
        item['image_urls'] = [data.find_element_by_xpath('.//img[@rel="v:image"]').get_attribute('src')] # 获取海报图片元素的链接,并赋值给item['image_urls']
        yield item # 返回item对象

    def get_proxy(self):
        #设置亿牛云 爬虫加强版代理
        #获取代理信息,返回一个字符串,格式为'user:pass@host:port' 
        proxyHost = "www.16yun.cn"
        proxyPort = "3111"
        proxyUser = "16YUN"
        proxyPass = "16IP"
        return f'{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}'

结语

通过上面的介绍和案例,我们通过上面的介绍和案例,我们可以了解到scrapy_selenium是一个非常强大和灵活的爬虫框架,它可以让我们轻松地爬取Ajax、JSON、XML等数据格式的网页,而不需要编写复杂的JavaScript代码或使用其他的工具。scrapy_selenium也可以与scrapy的其他组件和功能相结合,如图片管道、代理中间件、数据存储等,从而提高爬虫的效率和质量。

你可能感兴趣的:(seleuium,scrapy,爬虫技术,scrapy,selenium,ajax,网络爬虫,json,XML,爬虫代理)