nodejs抓取百度糯米

原文链接： https://my.oschina.net/u/3559601/blog/995201

模块安装的命令：npm install 模块名
模块更新的命令：npm update 模块名
模块卸载的命令：npm uninstall 模块名
模块搜索的命令：npm search  模块名


创建一个xxx.js文件，用notepad++ 编写如下代码就行，编写完后进入js文件所在目录，node xxx.js  运行就可以了。

代码：
var http = require('http');
var fs = require('fs');
var cheerio = require('cheerio');
var request = require('request');
var url = '';
var j=0;


//抓取数据
function fetchPage(url){
startRequest(url);
}
function startRequest(url){

//通过url请求数据
request(url,function(error,response,body){
if(!error && response.statusCode== 200){
//console.log(body);
//请求成功
//$=cheerio.load(body);

var $ = cheerio.load(body);
var data=[];
$('.w-goods-area').find('.contentbox').each(function(index,ele){
//var a = $(ele).find('h4').text();
//console.log(a);
console.log('==============================================>>第'+index+'条');
data.push({
  name: $(ele).find('h4').text(),
  href: 'http:'+$(ele).find('a',target='_blank').attr('href')
});
});
console.log(data);
}
});

}

//循环加载url
for(var i = 1;i<=10;i++){
url = "https://t.nuomi.com/3/cd-0-0-0-642/0-page"+i+"?#j-sort-bar";
fetchPage(url);
console.log('url:'+url);


}

转载于:https://my.oschina.net/u/3559601/blog/995201