python爬虫框架scrapy学习笔记

介绍:scrapy是一个python的爬虫框架 官方英文文档比较完整 支持web2.0

官方文档:doc.scrapy.org

本机环境:ubuntu 12.04

安装命令:

sudo easy_install python-twisted
sudo easy_install w3lib
sudo easy_install lxml
sudo easy_install pyopenssl
sudo easy_install -U Scrapy

其他系统安装  install

创建tutorial项目

scrapy startproject tutorial

项目结构 可以使用tree命令

├── scrapy.cfg # 配置文件
└── tutorial
    ├── __init__.py
    ├── items.py # 模型文件 类是django的模型
    ├── pipelines.py # 管道 对items数据进行进一步处理
    ├── settings.py #配置文件
    └── spiders # 爬虫文件夹
        └── __init__.py

使用命令创建第一个爬虫dmoz(使用模板basic)

scrapy genspider -t basic dmoz dmoz.org

创建成功后 会在爬虫文件夹spiders中出现一个dmoz.py的文件 打开后如下所示

from scrapy.spider import BaseSpider

class DmozSpider(BaseSpider):
    name = "dmoz" # 爬虫名字
    allowed_domains = ["dmoz.org"]
    start_urls = (
        'http://www.dmoz.org/', # 爬虫开始网址
        )

    def parse(self, response):
        pass # 网页抓取后 通过该函数处理
        filename = response.url.split("/")[-2] # 新增测试代码
        open(filename, 'wb').write(response.body)

运行

scrapy crawl dmoz

最后会在工程文件夹下生成一个www.dmoz.org的文件 内容为网页代码

scrapy命令解释

scrapy -h #查看帮助
scrapy list #爬虫列表
scrapy crawl dmoz #运行dmoz爬虫
scrapy genspider -h #查看genspider帮助信息
scrapy genspider -l  #查看genspider模板列表
scrapy genspider -d basic # 查看basic模板结构
scrapy genspider -t basic test test.com # 指定basic模板生成test爬虫

scrapy 调试

scrapy shell http://www.dmoz.org/ # 通过shell交互的方式

通过xPath的方式解析网页

xPath教程地址 http://www.w3school.com.cn/xpath/index.asp 可通过shell方式进行测试练习

定义模型 修改items.py文件 关于模型的操作详见文档 http://doc.scrapy.org/en/0.14/topics/items.html

class DmozItem(Item):
    title = Field() # 字段只有这一种Field类型
    link = Field()
    desc = Field()

修改spiders下dmoz.py

from scrapy.spider import BaseSpider
from tutorial.items import DmozItem
from scrapy.selector import HtmlXPathSelector


class DmozSpider(BaseSpider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = (
        'http://www.dmoz.org/Computers/Programming/Languages/Python/Books/',
        )
    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        sites = hxs.select('//ul/li')
        items = []
        for site in sites:
            item = DmozItem()
            item['title'] = site.select('a/text()').extract()
            item['link'] = site.select('a/@href').extract()
            item['desc'] = site.select('text()').extract()
            items.append(item)
        return items

parse返回Request或者items列表 如果是Request则加入爬虫队列 如果返回items则直接处理或者到pipelines模块处理

Request返回格式 [Request(url, callback=self.parse_item)]

运行爬虫根据Item生成json文件 其他xml cvs等详见文档

scrapy crawl dmoz -o items.json -t json

命令成功会在终端打印信息 并且在工程下生成items.json文件

pipeline

爬虫spider获取的数据 返回Request对象需要进一步抓取链接 而返回Item的则交给pipeline处理

class TutorialPipeline(object):
    def __init__(self):
        print "first pipeline"
    def process_item(self, item, spider):# 函数返回item或者raise from scrapy.exceptions import DropItem对象
        return item# 函数内进行数据的二次处理 当然在parse中也可以处理

配置settings 可以配置多个 依次执行

ITEM_PIPELINES = ['tutorial.pipelines.TutorialPipeline', 'tutorial.pipelines.xxx', ]

scrapy日志

分五个级别 默认最低 LOG_LEVEL=‘DEBUG’ 信息会全部打印在终端 官网日志链接

scrapy  Stats  键值数据库

支持简单的数据操作 http://doc.scrapy.org/en/0.14/topics/stats.html

支持mail邮件发送 http://doc.scrapy.org/en/0.14/topics/email.html

下载图片 http://doc.scrapy.org/en/0.14/topics/images.html

中间件 http://doc.scrapy.org/en/0.14/topics/downloader-middleware.html

# 先写到这 其他的有使用经验了 在陆续补充进来