scrapy 下载蜂鸟网美图

scrapy下载图片与爬取网页其他内容不太一样，大体的流程都是下载网页内容，解析网页内容，对于非图片下载，通过selector选择网页内容进行提取就可以，然后该存入数据库存入数据库，而对于图片下载来说需要提取的是网页内容里面的图片地址，然后再将图片地址存储到image_urls数组中，在存储到image_urls中需要注意，要将url以数组的形式保存到item['image_urls']中，这个数组会被yield到imagepipeline类里，首先通过其中的get_media_requests()方法对图片进行下载，结果将以2-元素的元组列表形式传送到item_completed()方法。