node.js小爬虫-----爬慕课网

var http=require('http');

var cheerio=require('cheerio')

var url="http://www.imooc.com/learn/348"

function fifterChapters(html){

var $=cheerio.load(html);

var chapters=$('.chapter')

var courseData=[];

// course=[{

// chapterData:{

// title:wwww,

// video:[{

// title:videoTitle,

// id:videoId

// }]

// }

// }]

var arr=[];

chapters.each(function(item){

var chapter=$(this);

var chapterTitle=chapter.find('strong').text().trim().split('  ')[0];

var videos=chapter.find('.video').children('li');

var chapterData={

title:chapterTitle,

videos:[]

}

videos.each(function(item){

var video=$(this).find('.J-media-item');

var videoId=video.attr('href').split('/video/')[1];

var videoTitle=video.text().split('(')[0].trim();

var videoobj={

id:videoId,

title:videoTitle

}

chapterData.videos.push(videoobj);

})

courseData.push(chapterData);

})

return courseData;

}

function printCourseInfo(courseData){

courseData.forEach(function(item){

var chapterTitle=item.title;

console.log(chapterTitle+'\n');

item.videos.forEach(function(item){

var id=item.id;

var title=item.title;

console.log('【'+id+','+title+'】'+'\n');

})

})

}

http.get(url,function(res){

var html='';

res.on('data',function(data){

html+=data;

})

res.on('end',function(){

var courseData=fifterChapters(html);

printCourseInfo(courseData);

})

})