【爬虫】4.3 Scrapy 爬取与存储数据

目录

1. 建立 Web 网站

2. 编写数据项目类

3. 编写爬虫程序 MySpider

4. 编写数据管道处理类

5. 设置 Scrapy 的配置文件

---

        从一个网站爬取到数据后，往往要存储数据到数据库中，scrapy 框架有十分方便的存储方法，为了说明这个存储过程，首先建立一个简单的网站，然后写一个 scrapy 爬虫程序爬取数据，最后存储数据。

1. 建立 Web 网站

        这个网站有一个网页，返回基本计算机教材数据，Flask程序

服务器 server.py 如下：

import flask

app = flask.Flask(__name__)


@app.route("/")
def index():
    html = """
    
    
        
        James
        清华大学出版社
    
    
        
        Robert
        人民邮电出版社
    
    
        
        Steven
        高等教育出版社
    
     
    """
    return html


if __name__ == "__main__":
    app.run()

        访问这个网站时返回 xml 的数据，包含教材的名称、作者、与出版社

2. 编写数据项目类

        程序要爬取的数据是多本教材，每本教材有名称与作者，因此要建 立一个教材的类，类中包含教材名称title、作者author与出版社 publisher。在 scrapy 框架中有的.\example\Test\Test 目录下 有一个文件 items.py 就是用来设计数据项目类的，打开这个文件，改造文件成如下形式：

改造前：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class TestItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pass

改造后：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class BookItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    author = scrapy.Field()
    publish = scrapy.Field()

        其中 BookItme 是我们设计的教材类，这个类必须从 scrapy.Item 类继承，在类中定义教材的字段项目，每个字段项目都是一个 scrapy.Field 对象，这里定义了3个字段项目，用来存储教材名称 title、作者 author、出版社 publisher。

        如果item是一个BooItem的对象，那么可以通过item["title"]、 item["author"]、item["publisher"]来获取与设置各个字段的值，例如：

        item=BookItem()

        item["title"]="Python程序设计"

        item["author"]="James"

        item["publisher"]="清华大学出版社"

        print(item["title"])

        print(item["author"])

        print(item["publisher"])

3. 编写爬虫程序 MySpider

        数据的项目设计好后就可以编写爬虫程序（.\example\Test\Test\spiders\MySpider.py）

爬虫程序 MySpider.py 如下：

import scrapy
from ..items import BookItem


class MySpider(scrapy.Spider):
    name = "mySpider"
    start_urls = ['http://127.0.0.1:5000']

    # 回调函数
    def parse(self, response, **kwargs):
        try:
            data = response.body.decode()
            # 爬取数据
            selector = scrapy.Selector(text=data)
            books = selector.xpath("//book")
            for book in books:
                item = BookItem()
                item["title"] = book.xpath("./title/text()").extract_first()
                item["author"] = book.xpath("./author/text()").extract_first()
                item["publisher"] = book.xpath("./publisher/text()").extract_first()
                yield item
        except Exception as err:
            print(err)

        这个程序访问 http://127.0.0.1:5000 的网站，得到的网页包含教材信息， 程序过程如下：

(1)

from ..items import BookItem

从Test文件夹的items.py文件中引入BookItem类的定义。

(2)

data=response.body.decode()

selector=scrapy.Selector(text=data)

books=selector.xpath("//book")

得到网站数据并建立Selector对象，搜索到所有的节点的元素。

(3)

for book in books:

        item=BookItem()

        item["title"]=book.xpath("./title/text()").extract_first()

        item["author"] = book.xpath("./author/text()").extract_first()

        item["publisher"] = book.xpath("./publisher/text()").extract_first()

        yield item

        对于每个节点，在它下面搜索到