网络爬虫Scrapy
网络爬虫Scrapy
2015年4月28日
1 目标：批量下载网页内容
2 原理：发送get，接受Response，然后提取信息。
3 方法: scrapy
参考：http://blog.pluskid.org/?p=366
3.1 安装
请参考官网：https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/tutorial.html。
3.1.1安装scrapy
python,pip,setuptools,lxml,openSSL。
3.1.2Windows（win7）补充安装：
1) 安装service_identify:pip service_identity
2) 安装pywin32: https://pypi.python.org/pypi/pywin32下载对应python版本的程序。
3.2 使用
3.2.1创建下载项目
scrapy startproject tutorial
3.2.2创建下载规则（Spider爬虫）
3.2.2.1 创建scrapy.Spider的子类作为爬虫：在Spiders下创建新Spider类。
设置爬虫名称：Spider.name
设置下载地址列表：Spider.starturls
下载数据的组织：Spider.parse()
在parse（）中要将response的数据进行分解，可以使用selector选择其中的数据。将数据组织与items.py中的数据Items格式，并返回。结果将保存在指定的-o文件中。
3.2.2.2 创建数据组织类：修改items.py，创建组织结构（类）
创建scrapy.Field（）类型的数据成员。
3.2.3开始下载：scrapy crawl dmoz
3.2.4开始下载并保存数据：scrapy crawl dmoz -oitems.json
3.3 调试方法:IPython的scrapy shell交互式调试
在程序中每次的response返回后进行调试。
scrapy shell "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"
3.4 示例
//spidesrs/dmoz_spider.py
import scrapy
from tutorial.items import DmozItem
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split('/')[-2]
with open(filename,'wb') as f:
f.write(response.body)
for sel in response.xpath("//ul/li"):
item = DmozItem()
item['title'] = sel.xpath("a/text()").extract()
item['link'] = sel .xpath("a/@href").extract()
item['desc'] = sel.xpath("text()").extract()
yield item
//items.py
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class TutorialItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()