使用node去爬虫

let http = require('http');
let https = require('https');//引入node的https服务。
let cheerio = require('cheerio');
let fs = require('fs');


let server = http.createServer(function (req, res) {


    //这个请求是向谁发送？ 另外一个服务器  ----》url接口
    //别人的服务器地址 ---》   https://cnodejs.org/
    if(req.url === '/'){
        let url = 'https://cnodejs.org/';
        https.get(url,function (http_res){
            let str = '';
            http_res.on('data',function (chunk) {
                str += chunk;
            });
            http_res.on('end',function (err) {
                // console.log(str);  //是不是一个html片段
                const $ = cheerio.load(str);  //类jquery的方法集

                fs.writeFile('./static/day2.html',str,function (err) {
                    console.log('end')
                });
                //和你的jquery一模一样
                console.log($('.topic_title').hasClass('dark'));

                res.writeHeader(200,{'Content-type': 'text/plain;charset=UTF-8'});
                res.end(str);
            })
        });


    }

});

server.listen(3000,function () {
    console.log('start')
});

 

转载于:https://www.cnblogs.com/l8l8/p/9123847.html