(1)使用superagent和cheerio构建简单爬虫

构建爬虫需要两步 :

  • 请求网页,此时需要用到superagent
  • 获取网页html中的元素数据,此时需要用到cheerio

我们准备构建一个爬虫来摘取网页中的数据。

(1)使用superagent和cheerio构建简单爬虫_第1张图片
.png

首先查看一下主页返回的html文件:

(1)使用superagent和cheerio构建简单爬虫_第2张图片
jianshu_html.png

可以看到其中的文章列表格式为:

晚报160720——《说到吃,明代皇帝口味有多重?》

代码如下:

(1)使用superagent和cheerio构建简单爬虫_第3张图片
crawler_code.png

操作结果:

(1)使用superagent和cheerio构建简单爬虫_第4张图片
crawler_result.png

你可能感兴趣的:((1)使用superagent和cheerio构建简单爬虫)