关于 pupperteer 爬虫

Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。

Puppeteer本身依赖6.4以上的Node,但是为了异步超级好用的async/await,推荐使用7.6版本以上的Node。

安装 npm i puppeteer

使用。这里我试过用来爬去生成图片,模拟手机,生成pdf都试过很好用。一般情况下我们主要用来爬去数据来分析数据,这里我自己学习react写demo就用了整个东西来爬取网站数据自用。地址简书分类数据,比如我现在要爬这些全部的数据

关于 pupperteer 爬虫_第1张图片

关于 pupperteer 爬虫_第2张图片

关于 pupperteer 爬虫_第3张图片

关于 pupperteer 爬虫_第4张图片

 

你可能感兴趣的:(关于 pupperteer 爬虫)