scrapy框架——爬虫

下载安装

官方网站： https://scrapy.org
官方文档： https://docs.scrapy.org/en/latest

安装：

• 命令安装
  < pip install scrapy >
• whl包安装方式
  到Python包发布网站上，下载对应的whl包： http://pypi.org
  pip install scrapy.1.5.whl
• 压缩包方式安装
  直接登录scrapy官方网站，下载tar.gz压缩包，解压到本地文件夹中
  Python setu.py install

• 注意：不同的操作系统可能会出现如下错误
  Microsoft Visual c++ 14.0 is Required[系统中缺少VC++编译库文件]
• 解决办法【两种】
• 1、安装VC++编译库文件
• 2、下载scrapy已经编译好的文件进行安装
  安装地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

第一个程序【爬虫】

import scrapy
import pyttsx3

engine = pyttsx3.init()
class MySpider(scrapy.Spider):
        '''自定义爬虫程序，继承scrapy.spider.Spider类型；才能使用scrapy框架提供的爬虫功能'''
        name = "quotes"
        #定义起始采集地址
        start_urls = ("http://quotes.toscrpe.com/page/1/",)
        
        def parse(self, response):
        '''解析返回的数据'''
        #提取当前网页中所有名言数据
        quotes = response.css("div.quote")
        for quote in quotes:
            yield{
                  'text' : response.css("span.text::text").extract_first()
                    'author':response.xpath("span/small[@class='author']/text()").extract_first()
                  }
         #提取数据
        next_page = response。小path（"//li[@class='next']/a/@href）.extract_first()
        engine.say("开始采集" + next_page)
        engin.runAndWait()
        if next_page:
              # 存在下一页，继续采集—>请求交给scrapy
              yield response.follow(next_page, self.parse)

• scrapy 项目中：

所有的爬虫程序，必须直接或者间接的继承自scrapy.Spider类型
自定义爬虫程序，必须重写父类中的如下三个特征：
1、name:爬虫程序的名称
2、start_urls:列表或者元组类型的数据，爬虫程序开始采集的URL地址，可以是一个url可以是多个url
3、parse（）:相应数据的解析函数，使用scrapy开发爬虫项目，我们不需要关心url 地址的调度、数据的下载。我们只需要关心在parse（self, response）函数中从response相应对象中提取数据

• scrapy中的response响应对象数据

支持css数据的提取方法：response.css('div.quotes')
支持xpath数据的提取方法： response.css('span/small/text()')
直接提取数据并转换成unicode编码：extract()/extract_first()

• 如果响应数据中包含需要继续采集的连接

提取连接
将连接交给scrapy继续采集： response.follow(url.func)
1、url:需要采集的URL地址
2、func：对目标URL地址进行数据采集完成之后，需要交给的解析函数【func:回调函数】（回头调用）

• 执行爬虫程序：scrapy runspider<爬虫程序名称.py>

3、第一个项目

scrapy项目，搭建的是一个程序平台，可以在这个平台上同时管理和维护【工作】多个爬虫程序，互相可以完全独立。

一个项目——>管理---->多个爬虫程序
创建第一个scrapy项目>

scrapy startproject [项目名称] #创建好的项目结构如下

|--【项目名称】/ #scrapy项目根目录
》》|--【项目名称】/ #scrapy 爬虫项目
》》》》|-- init.py
》》》》|-- spiders/ #存放爬虫程序的文件/目录/ 路径
》》》》|--items.py #封装采集数据的类型定义模块
》》》》|--middlewares.py #中间件定义模块
》》》》|-- settings.py #爬虫程序信息配置模块
》》|-- scrapy.cfg #scrapy爬虫项目配置信息以及部署信息

创建第一个爬虫程序
1）、自动创建
scrapy genspider <程序名称> <域名限制>
自动中【项目名称】/【项目名称】/spider/目录下，创建一个爬虫程序模块，在模块中自动生成爬虫代码！
开发人员：主要关注爬虫程序中start_urls和解析函数parse（）的处理即可。不需要关注技术上的实现。
2）、手工创建
在【项目名称】/【项目名称】/spider/目录下，手工创建一个xinlan.py模块，在模块中定义自定义类型，定义好的类型继承自scrapy模块中的scrapy类型，定义【name(程序名称)，allowed_domains(域名限制)，start_urls(起始采集地址)】属性和一个解析函数parse（）
程序启动：scrapy crawl 《爬虫的name名称》

待续~~~