scrapy入门学习
本文记录的链接转载自csblog的sufei用户
是scrapy由浅入深的入门
基本使用
讲解了一个最简单的scrapy程序编写
命令行工具
scrapy命令行工具包括创建项目，创建spider，编辑spider，运行spider，scrapy shell等
items
item 对象是种简单的容器，保存了爬取到得数据。
spiders
爬取规则和获取的网页的信息提取规则
选择器
从HTML源码中提取数据
Item Loaders
Item Loaders 提供了更便捷的 API，可以分析原始数据并对 Item 进行填充。
scrapy shell
在未启动 spider 的情况下尝试及调试你的爬取代码
pipeline
接收到 Item 并通过它执行一些行为，同时也决定此 Item 是否继续通过 pipeline，或是被丢弃而不再进行处理。
Feed exports
合适的保存爬取到的数据
Link Extractors
Link Extractors 适用于从网页（scrapy.http.Response）中抽取会被 follow 的链接的对象。
Logging
Scrapy 提供了 log 功能。可以通过 scrapy.log 模块使用。
Stats Collection
方便的收集数据的机制
发送 email
发送email
Telnet 终端（Telnet Console）
Scrapy 提供了内置的 Telnet 终端，以供检查，控制 Scrapy 运行的进程。Telnet 仅仅是一个运行在 Scrapy 进程中的普通 Python 终端。因此你可以在其中做任何事。
调试（Debugging）Spiders
调试
Spider Contracts
Scrapy 通过合同（contract）的方式来提供了测试 spider 的集成方法。
Common Practices
其余信息