nodejs结合cheerio 写简易的爬虫爬百度新闻==

cheerio   封装了很多的方法,让前端可以用类似的jq的语句来操作数据

第一步:安装cheerio。

        https://www.npmjs.com/package/cheerio

        用npm安装    npm install cheerio

第二步:引入

        const cheerio = require('cheerio');


第三步:使用

        const $ = chreeio.load("

    .......
");

       $('title').html();

        $('.class p').html();

        $('.class p').attr('href');


var http=require('http');
const Promise = require("promise");
const cheerio = require('cheerio');

var url='http://news.baidu.com/';
http.get(url,function(response){

    var str='';
    response.on('data',function(chunk){
        str+=chunk
    });

    response.on('end',function(){
        //console.log(str);  decodeEntities: false解析中文编码
        const $ = cheerio.load(str,{decodeEntities: false});
        //console.log($('.hotnews').html());
        var arr=[];
        $('.hotnews li a').each(function(key,value){
            console.log($(this).html())
            arr.push({
                title:$(this).html(),
                url:$(this).attr('href'),
            })
        })
        console.log(arr);
    });
})

就这么多了,我就是瞎写的一个东西记录一下

    



你可能感兴趣的:(nodejs学习)