用Node.js做个简单爬虫，爬点嘿嘿嘿的东西~

之前有用Vue全家桶写过一个低配版饿了么eleme-vue2，之后就跑去学node.js，Vue饿了么也就被我抛在脑后，Node教程也看过不少，倒也是会点，就想着写点东西爬点嘿嘿嘿的东西，于是有了如下产物。

https://github.com/hbxywdk/Simple-Node.js-Crawler

当然这里不会真爬嘿嘿嘿的东西，这里爬的是w3cplus。

QQ截图20170330140637.png

首先需要npm安装 cheerio 与 request 两个插件，cheerio 很重要，爬东西就靠它，request 用来保存图片。

// 首先引入我们要用到的模块
var http = require("http");
var fs = require('fs');
var cheerio = require("cheerio");
var request =  require("request");

// 这里定义一下入口页面
const setting = {
    'domain': 'http://www.w3cplus.com',
    'link':'/canvas/drawing-regular-polygons.html',
    'timeOut':3000 // 3s之后爬下一个页面
}

代码部分 ↓

    var html = "";
    // get目标页面
    http.get(setting.domain + link, function (res) {
        res.setEncoding('utf-8'); //防止中文乱码
        res.on('data', function (data) {
            // 拼接
            html += data;
        });
        res.on('end', function () {
            // cheerio.load()
            var $ = cheerio.load(html);
            //这里就可以像Jq的用法一样拿到我们想要的数据
            var pageTitle = $('#page-title.title').text().trim();

            console.log('文章标题：' + pageTitle);
            // 数据拿到储存起来
            saveContent($, pageTitle);
            // 找上一篇文章 根据链接的地址就可以爬下一个页面了
            var prevLink = $('.prev').next().attr('href');

            console.log('上一篇地址：' + prevLink)
            // 有上一篇文章
            // 
            if ( !!prevLink ) {
                // 记录进度（爬着爬会莫名中断，我也很绝望，
                // 这里就搞个文件记录下当前爬到哪了）
                fs.writeFile('./jingdu.txt', prevLink + '\r\n', 'utf-8', function (err) {
                    if (err) {
                        console.log(err);
                    }
                });
                //xxx秒后继续
                setTimeout(() => {
                    getPageNum(prevLink)
                },setting.timeOut)
            }else{
                console.log('木有了');
            }
          
        });
    }).on('error', function (e) {
        console.log('出了点错误:'+ e);
    })

saveContent，储存文件

//data文件夹已经手动创建，这里创建data下对应页面名字的文件夹
fs.mkdir('./data/'+ pageTitle, 0777, function(err){
    if(err){
        console.log('文件夹创建错误:' + err)
    }else{
        // 储存文字
        $('.field-items p').each(function(i, item){
            var text = $(this).text().trim() + '\r\n';
            fs.appendFile('./data/' + pageTitle + '/' + pageTitle + '.txt', text, 'utf-8', function (err) {
                if (err) {
                    console.log(err);
                }
            });
        })
        // 储存图片
        $('.field-items p img').each(function(i, item){
            // 图片的src
            var imgSrc = setting.domain + $(this).attr('src');
            // 扩展名正则
            var r = /\.[a-zA-Z]+$/;
            // 找到当前图片的扩展名
            var thisPicType = imgSrc.match(r)[0];
            // 储存图片的名字
            var imgName = pageTitle + i + thisPicType;

            // request 请求图片地址
            request.head(imgSrc, function(err,res,body){
                if(err){
                    console.log(' 图片请求错误 '+err);
                }else{
                    request(imgSrc)
                    .on('error', function(err) {
                        // 报错可能会中断程序的执行readGoOn函数读取最近的页面链接
                        setting.link = readGoOn();
                        // 跌倒了，继续爬，再不济，还能手动啊！
                        getPageNum(setting.link);
                        return;
                    })
                    .pipe(
                        fs.createWriteStream('./data/' + pageTitle + '/' + imgName)
                    ); 
                }
            });
        })
    }
})

完整代码在上面的链接里，一时兴起写的，虽然问题多多，大家将就看。
大家也可以对着自己想爬的网站改改，爬点不可描述的东西，这里我也就描述了~

最后附上 cheerio 与 request 的文档：
cheerio
request