Scrapy入门教程

Scrapy 入门教程###

安装Scrapy lxml很容易出问题 。

1： 创建一个Scrapy 项目
scrapy starproject tutorial ## tutorial是项目名称
会自动创建tutorial目录：
scrapy.cfg : 项目的配置文件
item.py : 项目中的item 文件
pipelines.py :  项目中的piplines 文件
settings.py : 项目中的设置文件
spiders : 放置spider代码的目录

定义 Item

em
是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item
类， 并且定义类型为 scrapy.Field
的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)
首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑 tutorial
目录中的 items.py
文件:

import scrapy


class DmozItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()
    ```

###编写一个爬虫（Spider）###
为了创建一个Spider , 必须继承`scrapy.Spider`类， 并且定义以下三个属性：
- `name` :  用于区别Spider， 名字需要唯一
- `start_url` : 包含了Spider 启动的时候需要抓取了url列表，因此，第一个被抓取的页面将是其中之一，后续的URL则从初始的URL获取到的数据提取
- `parse()` :  是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 [Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 [Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象。 
以下为我们的第一个Spider代码，保存在 tutorial/spiders
 目录下的 dmoz_spider.py
 文件中:

import scrapy

class DmozSpider(scrapy.spiders.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]

def parse(self, response):
    filename = response.url.split("/")[-2]
    with open(filename, 'wb') as f:
        f.write(response.body)

启用命令 ： scrapy craml  项目名
Scrapy为Spider的 start_urls
 属性中的每个URL创建了 [scrapy.Request
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Request) 对象，并将 parse
 方法作为回调函数(callback)赋值给了Request。
Request对象经过调度，执行生成 [scrapy.http.Response
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/request-response.html#scrapy.http.Response) 对象并送回给spider [parse()
](http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/spiders.html#scrapy.spider.Spider.parse) 方法。

###提取 Item ###
Scrapy 使用基于XPath 和 CSS 表达机制， Scrapy Selectors 

列XPath 表达式对应了含义：
- `/html/head/title` : 选择HTML 中`` 标签内的`