Scrapy 入门学习 1 & 初识Scrapy

引子

最近工作上需要对Scrapy进行二次开发，为此我又好好的复习了一下Scrapy相关的知识，并整理了如下内容

快速了解Scrapy

Scrapy 是当下爬虫与数据领域耳熟能详的数据采集与提取的框架，广泛应用于数据采集、数据挖掘、信息处理等方向。

小试牛刀Scrapy示例

import scrapy
class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.xpath('span/small/text()').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

将上述代码存储于Py文件中，命名为类似于test_spider.py的文件，再使用runspider命令运行爬虫

scrapy runspider quotes_spider.py -o quotes.json

完成后，您将在quotes.json文件中包含JSON格式的引号列表，其中包含文本和作者，如下所示（为了更好的可读性，此处重新格式化）：

[{
    "author": "Jane Austen",
    "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
},
{
    "author": "Groucho Marx",
    "text": "\u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.\u201d"
},
{
    "author": "Steve Martin",
    "text": "\u201cA day without sunshine is like, you know, night.\u201d"
},
...]

刚刚发生了什么？

当您运行该命令时，Scrapy在其中查找Spider定义并通过其爬虫引擎运行它。
scrapy runspider quotes_spider.py

通过向start_urls 属性中定义的URL发出请求（在这种情况下，只是start_urlsl中引号的URL ）开始爬行，并调用默认回调方法parse，将响应对象作为参数传递。在parse回调中，我们使用CSS Selector循环遍历quote元素，使用提取的引用文本和作者生成Python dict，查找指向下一页的链接，并使用与parse回调相同的方法发送下一个请求 。

在这里，您会注意到Scrapy的一个主要优点：请求是 异步调度和处理的。这意味着Scrapy不需要等待请求完成和处理，它可以在此期间发送另一个请求或执行其他操作。这也意味着即使某些请求失败或在处理错误时发生错误，其他请求也可以继续运行。

虽然这使您能够进行非常快速的爬网（以容错的方式同时发送多个并发请求），但Scrapy还可以通过一些设置控制爬网的礼貌。您可以执行以下操作：在每个请求之间设置下载延迟，限制每个域或每个IP的并发请求数量，甚至使用自动限制扩展，以尝试自动解决这些问题。

还有什么？

您已经了解了如何使用Scrapy从网站中提取和存储项目，但这只是表面。Scrapy提供了许多强大的功能，可以轻松高效地进行抓取，例如：

• 内置支持使用扩展的CSS选择器和XPath表达式从HTML / XML源中选择和提取数据，并使用正则表达式提取辅助方法。
• 一个交互式shell控制台（支持IPython），用于尝试使用CSS和XPath表达式来抓取数据，在编写或调试爬虫时非常有用。
• 内置支持以多种格式（JSON，CSV，XML）生成Feed导出并将其存储在多个后端（FTP，S3，本地文件系统）中
• 强大的编码支持和自动检测，用于处理外部，非标准和损坏的编码声明。
• 强大的可扩展性支持，允许您使用信号和定义良好的API（中间件，扩展和 管道）插入您自己的功能。
• 广泛的内置扩展和中间件用于处理：
  • cookie和会话处理
  • HTTP功能，如压缩，身份验证，缓存
  • 用户代理欺骗
  • 的robots.txt
  • 爬行深度限制
  • 和更多
• 一个Telnet控制台，用于连接到Scrapy进程内运行的Python控制台，以内省和调试您的爬虫
• 还有其他好东西，比如可重复使用的爬虫，可以从Sitemaps和XML / CSV Feed中抓取网站，自动下载与抓取项目相关联的图像（或任何其他媒体）的媒体管道，缓存DNS解析器等等！