一个前端攻城狮的全栈之路第一弹：nodejs实现一个简易的爬虫

node的http模块来实现一个简易的爬虫

1、这里只以http协议的网站为例，https的网站爬取只是解析方式略有差别，这里主要会用到node中http模块的get方法，不熟悉的小伙伴可事先预习一下

官网:  https://nodejs.org/api/http.html

中文网站: http://nodejs.cn/api/http.html#http_http_get_options_callback

2、开始上代码

（1）引入http模块，调用get方法：

          filters是过滤返回的html节点，获取有用的img标签

         server方法是定义的本地服务器方法，并向浏览器输出内容

         ** 如果想预览到http.get返回的内容，可将html打印

http.get(url, (res) => {
	var html = '';
	res.on('data', (data) => {
		html += data;
	});
	res.on('end', () => {
		var courseData = filter(html);
		server(port, hostname, courseData);
	})
}).on('error', () => {
	console.log('获取出错');
})

（2）定义filter方法

 ***这里用到的cheerio模块，处理服务器端字符串类型的html标签,使用方法和jquery几乎一模一样

感兴趣的小伙伴可以去官网了解： https://www.npmjs.com/package/cheerio

/*
 * 解析爬取的html,解析有用的部分
*/
function filter(html) {
	var $ = cheerio.load(html);
	// 获取初始化加载的img标签
	var imgs = $('.responsive-common').find('img');
	var listData = [];
	imgs.each(function() {
		var _this = $(this);
		var src = _this.data('original');
		var itemData = {
			src: src
		}
		listData.push(itemData);
	})
	return listData;
}

（ 3）定义本地服务方法

/*
 * 创建本地服务器,将解析到的内容输出到页面
 * @ parame {Array} courseData
*/
const  hostname = '127.0.0.1';
const  port = 3000;
function server(port, hostname, courseData){
	var server = http.createServer((req, res) => {
	  // 返回的状态码,以html的格式输出
	  res.statusCode = 200;
	  res.setHeader('Content-Type', 'text/html;charset=utf-8');
	  // 向页面输出信息
	  res.write(
	  	(function() {
	  		var html = '';
	  		courseData.forEach((item, index) => {
	  			html += `
${item.src}
`;
	  		})
	  		return html;
	  	})()
  	  );
	  res.end();
	});

	server.listen(port, hostname, () => {
	  console.log(`Server running at http://${hostname}:${port}/`);
	});
}

3、预览效果