Scrapy抓取外星人源码网

Scrapy笔记-完整实例

这篇文章通过一个比较完整的例子来指导使用scrapy，我选择抓取外星人源码网的帖子列表。
 这里我们主要需要完成以下几个步骤：

• 创建一个新的scrapy工程
• 定义你所需要抽取的Item对象
• 编写一个Spider来爬取某个网站并提取出所有的Item对象
• 编写一个Item Pipline来存储提取出来的Item对象
   Scrapy使用python语言编写，需要有python语言基础。

创建一个Scrapy工程

在任意一个你喜欢的目录执行以下命令即可创建一个新的工程：

scrapy startproject eenotScrapy

将会创建eenot文件夹，其目录结构如下：

目录结构

,scrapy项目创建完成。

定义我们的Item

 我们通过创建一个scrapy.item类，并定义的它的类型为scrapt.Field的属性，我们准备将外星人源码论坛帖子的标题，日期和简介爬取下来。

import scrapy
class EenotItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    posts_title = scrapy.Field()
    posts_date = scrapy.Field()
    posts_des = scrapy.Field()

编写一个Spider

 这个部分主要是自定义的一些类，Scrapy使用它们来从一个domain爬取信息，在spider中定义了一个初始化的URL下载列表，以及怎样来跟踪链接，如何解析页面来提取Item。
 定义一个Spider，需要继承scrapy.spider类并定一些属性：

• name：Spider的名称，必须是唯一的
• start_urls:初始化下载链接URL
• parse():用来解析下载后的Response独享，该对象也是这个方法的唯一参数。

 我们使用以下命令新建一个eenotSpider脚本：

scrapy genspider eenotSpider eenot.com

 初始化脚本完成后在脚本中填入以下内容：

# -*- coding: utf-8 -*-
import scrapy
from eenot.items import EenotItem
import logging


class EenotspiderSpider(scrapy.Spider):
    name = "eenotSpider"
    allowed_domains = ["eenot.com"]
    start_urls = ['https://www.eenot.com/portal.php?order=dateline&page=1']

    def parse(self, response):
        page_num = 5
        if response.status == 200:
            item = EenotItem()
            item['posts_title'] = response.xpath("//h1[@class='post_title']//a/text()").extract()
            item['posts_date'] = response.xpath("//div[@class='post_date']/text()").extract()
            item['posts_des'] = response.xpath("//p[@class='post_brief']/text()").extract()
            yield item
        for i in range(2, page_num + 1):
            next_page_url = "https://www.eenot.com/portal.php?order=dateline&page="+str(i)+""
            yield scrapy.Request(next_page_url,callback=self.parse)

 xpath抓取语法相关资料请看xpath教程

运行爬虫

 在根目录下执行以下命令，其中eenotSpider是自己定义的脚本的名字：

scrapy crawl eenotSpider

 如果一切正常，应该可以打印出每个帖子的标题，日期和简述

处理连接

 待更新

导出抓取结果

最简单的保存抓取数据的方式就是使用jsin格式的文件保存在本地，想下面这样运行：

scrapy crawl eenotScrapy -o abc.json

这里足矣，后续还需要自己编写Item Pipeline。

保存数据到数据库

 数据库待安装