Scarpy2.5从入门到高级系列教程（一）：快速了解Scrapy框架
Scrapy 快速一览
Scrapy 是一个用于抓取网站和提取结构化数据的应用程序框架，可用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。
尽管 Scrapy 最初是为网页元素抓取而设计的，但是它也能通过使用Apis来提取数据，比如亚马逊的服务接口，或者就一个通用的目的，网页元素抓取。
一个蜘蛛的例子
为了向您展示 Scrapy 带来了什么，我们将向您展示一个 Scrapy Spider 示例，使用最简单的方式运行蜘蛛。
下面是一个爬虫的代码，它从网站 http://quotes.toscrape.com 爬取名言，遵循分页：
# 导入scrapy库
import scrapy
# 创建一个蜘蛛类
# 这在以后，会在创建爬虫项目后，自动生成
# 该类默认继承scrapy中的Spider类
class QuotesSpider(scrapy.Spider):
# 定义蜘蛛名，这个在后期，你使用命令行创建的时候，
# 和你使用命令行中的名称保持一致，当然你也可以选择不一致
name = 'quotes'
# 定义爬取的url，它是一个列表
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
# 回调函数，对继承类的重写
# 这个response相应，是你请求的url的响应结果
def parse(self, response):
# 遍历你找到的名言
# 通过yield生成一个迭代器，并将其抛出
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
}
# 获取下一页数据
next_page = response.css('li.next a::attr("href")').get()
# 如果有下一页数据，就回调parse，进行重新解析
if next_page is not None:
yield response.follow(next_page, self.parse)
创建一个py文件，并在命令终端，进入到对应的文件目录下，执行
文件格式：.jl 类别:Julia Source Code File。JL文件保存为文本格式，因此它可以用任何文本编辑器进行编辑。
scrapy runspider quotes_spider.py -o quotes.jl
完成后，同级目录下，会多一个文件，quotes.jl 文件中将包含 JSON 行格式的引号列表，其中包含文本和作者，如下所示：
{"author": "Jane Austen", "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"}
{"author": "Steve Martin", "text": "\u201cA day without sunshine is like, you know, night.\u201d"}
......
这些都是怎么发生的呢
当您运行命令 scrapy runspider quotes_spider.py -o quotes.jl 时，Scrapy会查找你定义的蜘蛛类 QuotesSpider，之后自动使用爬虫引擎（框架的核心）运行它。
这个爬取的过程由制造一些请求开始，请求的url就是你蜘蛛类中定义的start_url(这是一个url列表)，请求完成后，会调取默认回调函数parse，且会将请求的响应response作为一个参数传递给parse回调函数。在回调函数中，这里使用了css选择器先获取了页面中所有的元素，然后循环每一句名言，并使用yield函数生成一个python字典，这个数据是被抛出的，你在文件中看到了，然后我们查询是否还有下一页数据，如果存在，我们就使用相同的回调方法，重新执行一遍这个过程，直到没有下一页为止。
在这里您会注意到 Scrapy的主要优势之一: 请求是异步调度和处理的。
- 这意味着
Scrapy不需要等待请求完成和处理，它可以在此期间发送另一个请求或做其他事情。 - 这也意味着即使某些请求失败或在处理它时发生错误，其他请求也可以继续进行。
虽然这使您可以进行非常快速的爬网（以容错方式同时发送多个并发请求），但 Scrapy 还让您可以通过一些设置来控制爬网的礼貌。
你可以做一些事情，比如设置每个请求之间的下载延迟，限制每个域或每个 IP的并发请求数量，甚至使用自动限制扩展来尝试自动找出这些。
上面这些设置，后面我们会涉及到，现在不着急了解具体是怎么设置的。
注意
对数据储存，你可以选择多种方式，导出格式可以使用：json\XML\csv。或者写item pipline存储到数据库上。
还有其它？
您已经了解了如何使用 Scrapy从网站中提取和存储项目，但这只是表面。
Scrapy提供了许多强大的功能来使抓取变得简单高效，例如：
-
内置的
css选择器和xpath表达式以及辅助正则表达式，来帮助我们提取数据. -
一个交互式
shell控制台（IPython感知），用于尝试使用CSS和XPath表达式来抓取数据，在编写或调试蜘蛛时非常有用。 -
内置支持以多种格式（
JSON、CSV、XML）生成提要导出并将它们存储在多个后端（FTP、S3、本地文件系统） -
强大的编码支持和自动检测，用于处理外部、非标准和损坏的编码声明。
-
强大的可扩展性支持，允许您使用
signals和定义良好的(middlewares, extensions, and pipelines)插入自己的功能。 -
用于处理的各种内置扩展和中间件：
- HTTP features like compression, authentication, caching
- user-agent spoofing
- robots.txt
- crawl depth restriction
-
一个 Telnet 控制台，用于连接到在
Scrapy进程中运行的Python 控制台，以检查和调试您的爬虫 -
加上其他好东西，比如可重复使用的蜘蛛类，从
Sitemap和 XML/CSV提要中抓取url、用于自动下载与抓取的项目相关联的图像（或任何其他媒体）的媒体管道、缓存DNS解析器等等！
下一步
安装 Scrapy，按照教程学习如何创建一个成熟的 Scrapy项目。 谢谢你的关注！