filespipeline

之前的工作都是针对网页内容，进行xpath解析之后整理入库，
或者写入csv、doc之类，
然后突然收到要去某个网站搜索含“附件”关键词的文章，
并将其中的附件下载，没有下载标签的则保存内容存为doc。
首先想到的是使用Scrapyd框架的下载器-官方文档
使用方法也很简单，如果不需要对文件进行特殊处理只需要

settings.py
# 在配置文件的ITEM_PIPELINES模块加上这一句，启用FilesPipeline
ITEM_PIPELINES = {
    'scrapy.pipelines.files.FilesPipeline': 1,
    'myproject.pipelines.MyFilePipelines': 1, # 自定义pipelines规则
}
# 配置文件存放目录
FILES_STORE = '/pth/to/file/dir'
-------------------------------------------------------------------------------------------
item.py
# 类似于入库操作，设置ITEM，但必须包含file_urls和files
class MyFilesItem(scrapy.Item):
    files = scrapy.Filed()
    file_urls = scrapy.Field()
    file_name = scrapy.Field()   #如果需要自定义文件名
    pass
-------------------------------------------------------------------------------------------
pipelines.py
# 需要自定义pipeline规则时使用,使用默认配置不需要更改,自己的项目文档....懒的改
class MyFilePipeline(FilesPipeline):
    
    def file_path(self, request, response=None, info=None):
        # 对文件重命名时需要重写的方法, Return file path 
        item = request.meta['item']
        dic_file_type = {'tzgg': u'通知公告', 'xmsyj': u'畜牧兽医局', 'nyjstgzz': u'农业技术推广总站',
                         'ncjjtzyjyglc': u'农村经济体制与经营管理处', 'szzglzz': u'种子管理总站', 'ncjjzzglc': '农产品加工办公室',
                         'ncpzlaqjgc': u'农产品质量安全监管局', 'kjjyc': u'科技教育处', 'zzyglc': u'种植业管理处',
                         'nyyw': u'农业要闻'}
        file_type = dic_file_type[(request.url.split('/')[4])]
        file_name = item['file_name']
        file_path_name = u'full/{0}/{1}'.format(file_type, file_name)
        # file_dir = u'full/{0}'.format(file_type)
        # is_file_path = ''.join(['D:/work/studyscrapy/', file_path_name])
        # if not os.path.exists(is_file_path):
        #     os.makedirs(file_dir)
        return file_path_name

    def get_media_requests(self, item, info):
        # FilesPepeline 根据file_urls指定的url进行爬取，该方法为每个url生成一个Request后 Return 
        for file_url in item['file_urls']:
            yield Request(file_url, meta={'item': item})

    def item_completed(self, results, item, info):
        # 所有图片处理完毕后会调用该方法,也可以在该方法下进行文件重命名
        file_paths = [x['path'] for ok, x in results if ok]
        if not file_paths:
            # 如果文件未下载
            raise DropItem("Item contains no file")
        item['file_paths'] = file_paths
        return item
-----------------------------------------------------------------------------------------
spider.py
# 局部代码示例,仅作说明item使用方法
class mySpider(scrapy.Spider):
    # 初始化全局变量
    file_urls = []
    def parse(response):
        sel = Selector(response)
        item = myFileItem()
        a = sel.xpath('//a[@class="ul_list li"]')
        if len(a) != 0:
            for f in a:
                self.file_type.append(meta['type'])
                self.file.append(f.xpath('.//text()').extract_first(default='N/A'))
                f_url = f.xpath('.//@href').extract()[0]
                f_name = f.xpath('.//text()').extract()[0]
                if f_url[0] == '.':
                    f_site = response.url.split('/')
                    f_site[-1] = f_url[2::]
                    f_url = '/'.join(f_site)
                    item['files'] = f_name
                    item['file_urls'] = [f_url]
                    item['file_name'] = f_name
                yield item

如果不写自己的filepipeline，文件名是使用file_url的SHA1 hash，不利于文章的分类整理。
还没有试过imagepipeline，不过具体用法类似，用上了再看