使用casperjs爬取淘宝商品图片

最近因为需要实现衣物识别，需要大量不同衣物的图片。
爬取淘宝/京东的产品图片应该是最快捷的收集方法。

第一次尝试

开始的时候，打算通过分析淘宝链接规则来提取页面信息，但是淘宝的URL比较复杂，计算按页面的URL请求，返回的也浏览器访问的dom结构不一样，加入请求头也没用，所以选择放弃。

换一个方法

capser是基于phatomjs封装的更高级的库，平时可以用来做自动化测试等等。
反正就是模拟一个正式的浏览器访问环境，获取dom结构，分析URL，提取图片啰。

github地址：https://github.com/zhengguorong/productPic

还是直接看代码吧，详细解释看注释

// 抓取图片的宽高
var imageSize = '_200x200'
// 抓取的分类
var queryKey = ['棕色 衬衫', '棕色 t恤', '棕色 外套', '棕色 卫衣', '棕色 裤子']

// 抓取返回页面dom结构里的图片
function getImages() {
    var images = document.querySelectorAll('#mainsrp-itemlist img');
    return Array.prototype.map.call(images, function (e) {
        // 因为淘宝用了懒加载的形式，所以图片路径放在了data-src下
        return e.getAttribute('data-src');
    });
}

// 过滤重复的图片
Array.prototype.unique = function () {
    var res = [];
    var json = {};
    for (var i = 0; i < this.length; i++) {
        if (!json[this[i]]) {
            res.push(this[i]);
            json[this[i]] = 1;
        }
    }
    return res;
}

// 爬多个关键字，直接创建多个casper实例
queryKey.forEach(function (keyword) {
    console.log(keyword)
    var casper = require('casper').create({
        pageSettings: {
            loadImages: false
        }
    })
    new process(casper, keyword)
})

// 这是爬取关键代码，第一步，在搜索框输入关键字，进行搜索
function process(casper, keyword) {
    var images = []
    casper.start('https://www.taobao.com/', function () {
        this.waitForSelector('form[action="//s.taobao.com/search"]');
    });

    casper.then(function () {
        this.fill('form[action="//s.taobao.com/search"]', { q: keyword }, true);
    });
// 等两秒钟，让页面跳转
    casper.wait(2000)

    // 收集图片地址
    for (var j = 0; j < 4; j++) {
        casper.then(function () {
            this.waitForSelector('#mainsrp-pager', function () {
                this.echo('正在爬取---' + keyword)
                if (j > 0) this.clickLabel('下一页', 'span')
                this.wait(2000, function () {
                    this.scrollToBottom()
                    images = images.concat(this.evaluate(getImages));
                })
            })
        });
    }

    // 下载图片
    casper.then(function () {
        console.log(images.length)
        images = images.unique()
        console.log(images.length)
        for (var i = 0; i < images.length; i++) {
            if (images[i]) {
                this.echo('正在下载 ' + keyword + i)
                this.download('http:' + images[i] + imageSize + '.jpg', 'data/' + keyword + '/' + i + '.jpg');
            }
        }
    });

    casper.run(function () {
        this.echo('下载完成').exit()
    });
}