scrapy笔记

scrapy源码https://github.com/scrapy/scrapy/tree/master/scrapy

第一章、scrapy的模块

有spiders,selector,http,linkextractors，item,loader，exceptions,pipeline等包。
其中，在scrapy的目录下含有一些快捷的函数，如

scrapy.Spider()（继承于spiders包），
scrapy.Selector()（继承于selector包），，
scrapy.Item() (继承于item包），
scrapy.Request/FormRequest（继承于http包）。

spiders模块

常用Rule，CrawlSpider等函数。

一般爬虫scrapy.spiders.Spider,其他爬虫都是继承此爬虫。
链接爬虫scrapy.spiders.CrawlSpider,
网站爬虫scrapy.spiders.SitemapSpider
XML源爬虫scrapy.spiders.XMLFeedSpider
CSV源爬虫scrapy.spiders.CSVFeedSpider

linkextractors模块

常用LinkExtractor()函数。

http模块

常用HtmlResponse()函数
scrapy.http.Request()
scrapy.http.FormRequest()

item模块

常用Item(),Field()函数

loader模块

常用ItemLoader函数

exceptions模块

常用DropItem函数

pipeline

常用image,file包函数

第二章、选择器 scrapy.selector.Selector(response=None, text=None, type=None)

在scrapy中使用选择器对response进行解析。如response.xpath()。此时response已经自动被scrapy转化成了选择器。选择器可以由文本或者TextResponse构造形成，如：

from scrapy.http import HtmlResponse```
文本构造

 Selector(text=body).xpath('//span/text()').extract()```
TextResponse构造
 ```response = HtmlResponse(url='http://example.com', body=body)
 Selector(response=response).xpath('//span/text()').extract()```

选择器常用方法xpath()或者css().如sel.xpath(),sel.css()xuan.两者都返回新的选择器。
选择器还有re(),extract(),re_first(),extract_first()方法，前两个返回字符串列表，后两个返回字符串列表的第一个字符串。

##xpath
xpath("//div")会得到文档所有的div节点构成的选择器
> ```for p in divs.xpath('.//p')： # extracts all 
 inside
...     print p.extract()```

或者  
>```for p in divs.xpath('p')： #extracts all 
 inside
 print p.extract()```

xpath获取多个标签下的文本
> ```sel.xpath("//div").xpath("string(.)").extract()#返回一个列表，每个元素都是一个div节点下所有的文本。```

获取指定文本值的元素
 >```sel.xpath("//a[contains(., 'Next Page')]").extract()
sel.xpath("//a[text()='Next Page']").extract()```

选择器，在选择标签易变的文本时记得用
>```xpath("string(.)")```

在数据项易减少的文本时，用
>```xpath("//div[contains(text(),'word')]")```

可以利用兄弟父子节点选取。

#第三章、itempipeline
itempipeline是对spider产生的item进行处理。有清洗，验证，检查，储存等功能。itempipeline含有四个方法：
>open_spider(self, spider)，
close_spider(self, spider)，
from_crawler(cls, crawler)，
process_item(self, item, spider).

##不同的item处理
>```if isinstance(item, Aitem):
    pass
elif isinstance(item, Bitem):
    pass
else:
    pass```

##储存到mongoDB
在settings文件里输入
>```
MONGODB_URI = 'mongodb://localhost:27017'
MONGODB_DATABASE = 'scrapy'
DOWNLOAD_DELAY = 0.25 #用于防止被ban```

然后在pipeline文件直接用官网的代码。只需要改动process_items函数的代码和集合名。
>```
import pymongo
import pymongo
from scrapy.conf import settings
from scrapy.exceptions import DropItem
from myproject.items import myitem
class myPipeline(object):
    collection_name = 'scrapy_items'
    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    def close_spider(self, spider):
        self.client.close()
    def process_item(self, item, spider):
        self.db[self.collection_name].insert(dict(item))
        return item```

#第四章、图片下载和文件下载 参考http://www.jianshu.com/p/b5ae15cb131d
scrapy中图片和文件下载暂时只支持存在系统目录或者S3.
##图片下载
在items文件中：
>```import scrapy
 class MyItem(scrapy.Item):
    image_urls = scrapy.Field() #用来存放图片的SRC源地址
    images = scrapy.Field() #储存下载结果，当文件下载完后，images字段将被填充为一个2元素的元组。其中第一个为布尔值，表明是否成功下载，第二个是一个字典，含有相关信息。如
(True,  {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
   'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
   'url': 'http://www.example.com/files/product1.pdf'})

同理文件下载的item
在settings文件中配置：保存目录，失效时间，缩略图生成，过滤小图片

IMAGES_STORE = "./图片" #图片储存路径,为当前项目目录下的图片文件夹
FILES_STORE = "./wenjian" #文件储存路径
FILES_EXPIRES = 90 #设置文件失效的时间
IMAGES_EXPIRES = 30 #设置图片失效的时间```

IMAGES_THUMBS = {
'small': (50, 50),
'big': (270, 270),
} #设置缩略图大小，当你使用这个特性时，图片管道将使用下面的格式来创建各个特定尺寸的缩略图:
/thumbs//.jpg

IMAGES_MIN_HEIGHT = 110 #过滤小图片
IMAGES_MIN_WIDTH = 110 #过滤小图片```

pipeline

经常需要在pipeline或者中间件中获取settings的属性，可以通过scrapy.crawler.Crawler.settings属性或者
from scrapy.conf importsettings

@classmethod
def from_crawler(cls, crawler):
    settings = crawler.settings
    if settings['LOG_ENABLED']:
        print "log is enabled!"  ```

每个图片item保存在不同的目录

class MyImagesPipeline(ImagesPipeline):
spider = None

def get_media_requests(self, item, info):
    for url in item["image_urls"]:
        yield scrapy.Request(url,meta={'sch_name': item["sch_name"]})

#file_path函数重写，对图片保存目录进行设置 

def file_path(self, request, response=None, info=None):
    image_guid = request.url.split('/')[-1]
    return "C:/pictures/full/%s/%s" % (request.meta['sch_name'],image_guid)

def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")            
        return item