爬虫实战|使用scrapy框架爬取动态网页并保存

咱就是说,网络爬虫技术是真的香阿!

网络爬虫学了也已有三个月了,接下来进行实训考察一下效果如何把!

这次我们选择爬取 “当当” 官方网页,网址“www.dangdang.com”(你也可以选择别的网站)

接下来开始我们的一顿猛操作~

一、新建项目和爬虫文件,构建scrapy框架(这里我们把项目名称命名为 “dangdang”)

1、在你“特定的文件夹中”打开cmd,输入以下代码

scrapy startproject dangdang

如果显示和我一样的信息,就说明项目创建成功 

爬虫实战|使用scrapy框架爬取动态网页并保存_第1张图片

 2、创建spider,输入以下代码,注意:“cp”是爬虫名,“dangdang.com”是start_url,必不可少

(这里我们把spider名称命名为 “cp”,我选择爬取微机原理和接口设计这类图书,你也可以挑选别的图书种类 )

先进入创建的项目“dangdang”里面,再创建spider

>cd dangdang
>scrapy genspider cp dangdang.com

如果你显示的信息和我一样,说明spider创建成功

爬虫实战|使用scrapy框架爬取动态网页并保存_第2张图片

3、打开“pycharm”,打开刚刚创建的“dangdang”项目,把selenium下的chromedriver.exe放在此项目里,然后,新建调试“main.py”文件,是这样滴:

爬虫实战|使用scrapy框架爬取动态网页并保存_第3张图片

注意:请记住!!!

一定要把“chromedriver.exe”和新创建的“main.py”放在项目“dangdang”的根目录下!!!

 OK,scrapy框架搭建好了,接下来就是编写代码~

二、创建“main.py”,并编写内容

from scrapy.cmdline import execute
execute("scrapy crawl cp".split())

两行代码敲完之后,先搁置一边

三、修改默认给出的“middleware.py”

找到“class DangdangDownloaderMiddleware:”下的“def process_exception(self, request, exception, spider):”,输入以下代码:

        #创建浏览器实例化对象在爬虫文件中,用spider.bro调用
        bro = spider.bro

        #requst.url就是拦截到的爬虫文件发起的url
        bro.get(request.url)

        #获取页面源码
        page = bro.page_source

        #利用HtmlResponse()实例化一个新的响应对象
        n_response = HtmlResponse(url=request.url,body=page,encoding='utf-8',request=request)

        #返回新的响应对象
        return n_response

四、全局配置“settings.py”

打开“settings.py”文件,

注意:以下所有需要设置的地方仅需去掉前边的注释号即可(除日志输出)

1、设置要爬取网站的“user_agent”,获取当当网的“user_agent”,复制至此

2、设置—是否遵守robots.txt

默认是“True”,即“遵守”,在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

爬虫实战|使用scrapy框架爬取动态网页并保存_第4张图片

然而,我们并不是在做搜索引擎,而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以,某些时候,我们就要将此配置项设置为 False ,拒绝遵守 Robot协议 !

爬虫实战|使用scrapy框架爬取动态网页并保存_第5张图片

 3、设置输出日志信息为错误日志信息,以及输出错误级别为一般级别

#输出日志设为之输出发生错误的日志信息
#输出级别——一般级别
LOG_LEVEL = 'ERROR'
  • CRITICAL - 严重错误
  • ERROR - 一般错误
  • WARNING - 警告信息
  • INFO - 一般信息
  • DEBUG - 调试信息
     

4、设置下载中间件,

爬虫实战|使用scrapy框架爬取动态网页并保存_第6张图片

5、设置Item Pipeline

当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。以下是Item Pipeline的一些典型应用:

  • 验证爬取的数据(检查item包含某些字段,比如说name字段)
  • 查重(并丢弃)
  • 将爬取结果保存到文件或者数据库中

爬虫实战|使用scrapy框架爬取动态网页并保存_第7张图片

 五、修改默认给出的“items.py”

1、Item对象是用于收集所抓取的数据的简单容器。

要爬取哪些字段,在爬虫解析页面时仅能使用已定义的这些字段,所以就需要在items.py中定义

2、在Item当中,它只有Field这一种类型,这个Field表示任何传递进来的数据类型都可以接收的

3、下图是默认已经给出的

爬虫实战|使用scrapy框架爬取动态网页并保存_第8张图片

 我们想要爬取当当网中《微机原理与接口设计》的书名,作者,现价,日期,出版社,所以需要在items.py中定义这些字段

 爬虫实战|使用scrapy框架爬取动态网页并保存_第9张图片

 六、修改默认给出的“pipelines.py”

下图是默认给出的

爬虫实战|使用scrapy框架爬取动态网页并保存_第10张图片

我们想要将爬取的信息储存到".xls",需改写此文件

from itemadapter import ItemAdapter
from openpyxl import Workbook


class DangdangPipeline:
    def __init__(self):
        self.wb = Workbook()
        self.ws = self.wb.active
        self.ws.append(['书名','作者','现价','日期','出版社'])

    def process_item(self, items, spider):
        line = [items['book_name'],items['author'],items['price'],items['time'], items['press']]
        self.ws.append(line)
        self.wb.save('./微机原理与接口设计.xls')
        return items

 重头戏来了!!!

七、编写spider——“cp.py”文件中的主代码

1、下图是默认给出的结构,接下来就我们需要补充,修改

爬虫实战|使用scrapy框架爬取动态网页并保存_第11张图片

 2、此次实训完整代码

注意理解注释~

import scrapy
import time

from selenium import webdriver
from dangdang.items import DangdangItem


class CpSpider(scrapy.Spider):
    name = 'cp' #指定爬虫文件名称
    allowed_domains = ['dangdang.com']  #允许爬取的网站域名
    #spider在启动时爬取的url列表,用于定义初始请求
    #第一个要爬取的url
    start_urls = ['http://search.dangdang.com/?key=%CE%A2%BB%FA%D4%AD%C0%ED%D3%EB%BD%D3%BF%DA%BC%BC%CA%F5&act=input&page_index=1']
    page_index = 1  #第一页
    offset = 1  #查询字符串参数


    def __init__(self): #实例化浏览器对象
        #selenium启动配置参数接收是ChromeOptions类
        option = webdriver.ChromeOptions()  #启动浏览器,最大化
        #屏蔽谷歌浏览器正在接受自动化软件控制提示
        option.add_experimental_option('excludeSwitches', ['enable-authmation'])
        self.bro = webdriver.Chrome(options=option) #初始化


    def parse(self, response):

        items = DangdangItem()
        lists = response.xpath('//*[@id="search_nature_rg"]/ul/li')

        #遍历列表
        for i in lists:
            items['book_name'] = i.xpath('./p[@class="name"]/a/@title')[0].extract()
            print('书名',items['book_name'])

            author = i.xpath('./p[@class="search_book_author"]/span[1]//text()').extract()
            author = ''.join(author).strip()
            items['author'] = author
            print("作者",items['author'])

            items['price'] = i.xpath('./p[@class="price"]/span[1]/text()').get()
            print('现价',items['price'])

            items['time'] = i.xpath('./p[@class="search_book_author"]/span[2]/text()').get()
            print('日期',items['time'])

            items['press'] = i.xpath('./p[@class="search_book_author"]/span[3]/a/@title').get()
            print('出版社',items['press'])
            yield items #回调
        time.sleep(5)

        #通过parse()方法实现翻页
        if self.offset < 6: #只爬取5页
            self.offset += 1
            self.page_index += 1
            url='http://search.dangdang.com/?key=%CE%A2%BB%FA%D4%AD%C0%ED%D3%EB%BD%D3%BF%DA%BC%BC%CA%F5&act=input&page_index={}'\
                .format(self.offset,self.page_index)
            yield scrapy.Request(url=url,callback=self.parse)

    #关闭浏览器
    def closed(self,spider):
        self.bro.close()

3、查看存储在表格中的内容

成功运行没有错误之后,将会把你所爬取的内容保存在“微机原理与接口设计.xls”表格中

爬虫实战|使用scrapy框架爬取动态网页并保存_第12张图片

双击打开表格,就是你所爬取的内容拉!

恭喜你完成此次实战!

你可能感兴趣的:(网络爬虫技术,爬虫,python,pycharm)