nodejs使用superagent抓取网页,cheerio分析网页

//使用superagent抓取网页
    //=>一个http方面的 库 ajax API 可以发起get或post请求
    
//使用cheerio分析网页
    //=>node.js版的jQuery用来从网页中以css selector取数据

const express = require('express');
const superagent = require('superagent');
const cheerio = require('cheerio');
const app = express();

app.get('/',function(req,res,next){
    //使用superagent抓取https://condejs.org的内容
    superagent.get('https://cnodejs.org')
        .end(function(err,sers){
            if(err){
                return err;
            }
            //加载HTML把HTML document传进去
            var $ = cheerio.load(sers.text);//sers.text存储着页面的html内容
            var item = [];
            $('#topic_list .topic_title').each(function(index,element){
                    var $element = $(element);
                    item.push({
                        title:$element.attr('title'),
                        href:$element.attr('href')
                    })
            });    
                res.send(item);//这句代码的位置问题
        });
});

app.listen(3000,function(){
    console.log("端口成功被监听");
});

 

转载于:https://my.oschina.net/itly/blog/775830