scrapy

• Scrapy是用纯python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛

• Scrapy架构图(绿线是数据流向)：

  

  image

• Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

• Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

• Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理

• Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

• Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

• Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

• Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

一、新建项目(scrapy startproject)

• 创建爬虫项目

scrapy startproject 项目名称 （有些用户需要前面加上python -m）

• 新建爬虫文件

scrapy genspider 爬虫文件 域名

• item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。

item文件

class JobboleItem(scrapy.Item):
    # define the fields for your item here like:
    #标题
    title = scrapy.Field()
    #创建时间
    create_date = scrapy.Field()
    #文章地址
    url = scrapy.Field()
    #id
    url_object_id = scrapy.Field()
    #文章图片
    front_image_url = scrapy.Field()
    #文章图片地址
    front_image_path = scrapy.Field()
    # 点赞数
    praise_nums = scrapy.Field()
    #收藏数
    bookmark_nums = scrapy.Field()

二、制作爬虫

# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):

    name = '爬虫文件'
    allowed_domains = ['网站域名']
    start_urls = ['https://xxx.xxxx.com/xxxx-x/']
def parse(self, response):
    pass

• name = " " ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。

• allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

• start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

• parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数

三、在parse方法中做数据的提取

from jobboleproject.items import JobboleprojectItem
    1.获取图片和文章详情的链接
def parse(self, response):
    # css选择器获取当前列表页面的所有的节点
    post_nodes = response.css("#archive .floated-thumb .post-thumb a")

    # 如果不是完整的域名 需要拼接完整 response.url + post_url
    # 获取到的URL可能不是一个域名，也可能是具体的文章需要使用parse函数from urllib import parse
    for post_node in post_nodes:
    image_url = post_node.css("img::attr(src)").extract_first("")
    post_url = post_node.css("::attr(href)").extract_first("")
    full_url = response.urljoin(post_url)
    #meta参数对应的是一个字典，用来传递数据
    yield scrapy.Request(url=full_url, meta={"front_image_url": image_url},
callback=self.parse_detail)

2.然后将我们得到的数据封装到一个 JobboleItem 对象中，可以保存每个文章的属性：
def parse_detail(self,response):
    # print(response)
    # 使用xpath语法或者css语法提取网页的相关信息
    # extract（） 串行化并将匹配到的节点返回一个unicode字符串列表

    item = JobboleprojectItem()
    #标题
    item['title'] = response.xpath('//div[@class="entry-header"]/h1/text()').extract_frist("")

    #发布日期
    item['create_date'] = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract_first("").strip().replace("·","").strip()
    #文章地址详情地址
    item['url'] = response.url
    # http://blog.jobbole.com/113949/

    #文章的id
    item['url_object_id'] = re.match(".*?(\d+).*", url).group(1)

    # 文章图片
    item['front_image_url'] = response.meta.get("front_image_url","")

    # 点赞数
    item['praise_nums'] = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract_first("")

    # 收藏数
    bookmark_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract_first("")
match_bookmark_nums = re.match(".*?(\d+).*",bookmark_nums)
    if match_bookmark_nums:
        item['bookmark_nums'] = int(match_bookmark_nums.group(1))
    else:
        item['bookmark_nums'] = 0

    # 评论数
    comment_nums = response.xpath("//a[@href='#article-comment']/span/text()").extract_first("")
    match_comment_nums = re.match(".*?(\d+).*",comment_nums)
    if match_comment_nums:
        item['comment_nums'] = int(match_comment_nums.group(1))
    else:
        item['comment_nums'] = 0

    # 文章内容
    item['content'] = response.xpath("//div[@class='entry']").extract_first("")

    # 过滤评论标签
    tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']//a/text()").extract()
    tag_list = [element for element in tag_list if not element.strip().endswith("评论")]
    # 标签
    item['tags'] = ",".join(tag_list)

    print(item)

    # return返回数据，不经过pipelines
    # return item

    # yield将获取的数据交给pipelines
    # yield item

简单地讲一下：
yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator。

四、编写Item Pipeline

import something

class SomethingPipeline(object):
    def __init__(self):
        # 可选实现，做参数初始化等
        # doing something
    def process_item(self, item, spider):
        # item (Item 对象) – 被爬取的item
        # spider (Spider 对象) – 爬取该item的spider
        # 这个方法必须实现，每个item pipeline组件都需要调用该方法，
        # 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
        return item

    def open_spider(self, spider):
        # spider (Spider 对象) – 被开启的spider
        # 可选实现，当spider被开启时，这个方法被调用。

    def close_spider(self, spider):
        # spider (Spider 对象) – 被关闭的spider
        # 可选实现，当spider被关闭时，这个方法被调用

管道作用：

• 验证爬取的数据(检查item包含某些字段，比如说name字段)

• 查重(并丢弃)

• 将爬取结果保存到文件或者数据库中

五、重新启动爬虫

scrapy crawl jobbole

六、Settings.py 设置文件参数介绍

• 参考文档：
  http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/settings.html#topics-settings-ref