NodeJs爬虫—“眼睛好看是一种什么样的体验?”

逛知乎的时候经常看见有好多的福利贴(钓鱼贴),这不最近又让我发现了一个——眼睛好看是一种什么样的体验  是一种怎么样的体验呢?我决定把答案里的照片都下到我的电脑里好好体验一下,怎么做呢,一张一张下好麻烦,最后自己写了个nodej的爬虫替我完成了这个任务~在这里分享一下吧!

这是成果...

NodeJs爬虫—“眼睛好看是一种什么样的体验?”_第1张图片
NodeJs爬虫—“眼睛好看是一种什么样的体验?”_第2张图片
 
顺便附上代码...
 
NodeJs爬虫—“眼睛好看是一种什么样的体验?”_第3张图片

NodeJs爬虫—“眼睛好看是一种什么样的体验?”_第4张图片

需要注意的是,只是创建一个“img”的文件夹是不够的,获取到的每一段图片数据流都需要有一个具体的文件作为载体,在每一段图片数据流写入对应的每一个文件的时候,这每一个文件才会是一张图片。所以在这里我把每一张图片地址的basename通过path模块切了下来作为对应的文件名,拼接到“./img/”后面,注意我并没有去显式的创建每一个图片文件,只是指明了具体的写入路径,当文件写入流没有发现这个文件的时候它会自动的帮你去创建的。

 

步骤说明,模块介绍...

这里用到了nodejs的两个第三方模块,一个是superagent,一个是cheerio,superagent是用来发送http请求的,cheerio则是用来截取页面数据的,你可以把它当作是服务器端的jquery,总的说来就是利用superagent发送http请求获取到具体页面的数据,然后再用cheerio把你想要的数据从你获取到的数据中截取出来,再通过文件流写入你的电脑。。。嗯就是这样~

这是superagent和cheerio的中文文档!

superagent中文文档

cheerio中文文档

 

这是尾部

写的有点烂...继续学习ing!!!

 

你可能感兴趣的:(NodeJs爬虫—“眼睛好看是一种什么样的体验?”)