node.js 学习笔记003 :使用superagent和cheerio实现简单网页爬虫

superagent能够实现主动发起get/post/delete等请求
cheerio则能够对请求结果进行解析，解析方式和jquery的解析方式几乎完全相同
superagent网址：http://visionmedia.github.io/superagent/
cheerio网址：https://github.com/cheeriojs/cheerio

1.安装superagent、cheerio

npm install superagent cheerio --save

2.功能实现

var express=require("express");
var superagent=require("superagent");
var cheerio=require("cheerio");

var app=express();

app.get("/",function(req,resp){
    superagent.get("https://cnodejs.org/").end(function(error,data){
        if(error){
            console.log("error exception occured !");
            return next(error);
        }
        var $=cheerio.load(data.text);    //注意传递的是data.text而不是data本身
        var arr=[];
        $('#topic_list .topic_title').each(function(idx,element){
            var $element=$(element);
            arr.push({
                "title":$element.attr("title"),
                "href":$element.attr("href")
            });
        });
        resp.send(arr);
    });
});

app.listen(3000,function(req,resp){
    console.log("server is running ......");    
});

3.测试方法

http://localhost:3000