爬虫应用示例--puppeteer数据抓取的实现方法(续1)

本文介绍《爬虫应用示例--puppeteer数据抓取的实现方法》中涉及到的puppeteer组件如何安装,以及相关的坑。

一、puppeteer介绍

Puppeteer 是一个node库,内含了一个chrome浏览器,以及一组用来操纵Chrome的API。

相关资料:
1、github:https://github.com/puppeteer/puppeteer
2、中文资料:http://www.puppeteerjs.com/
3、API:https://chromedevtools.github.io/devtools-protocol/

安装方式:

1、方式一完整安装,包含chrome浏览器+API,npm i puppeteer【本文采用这种安装方式,因为项目需要浏览器自动化的远程数据自动化抓取】
2、方式二精简安装,只包含api,npm i puppeteer-core

二、puppeteer安装

npm install [email protected]  --unsafe-perm=true --allow-root

说明:
1、以上语句执行一次如果出错,则可以再执行1到2次试试
2、也可以尝试用cnpm安装试试
3、总之要执行后,出现以上结果则说明安装成功

三、安装过程中的几个坑

试过如下几种安装方式:
1、npm install puppeteer --save
2、npm install puppeteer --unsafe-perm=true --allow-root
3、npm install puppeteer --ignore-scripts
4、cnpm install puppeteer –save
5、cnpm install puppeteer --unsafe-perm=true --allow-root

其结果都是出现“Failed to set up Chromium r901912! Set "PUPPETEER_SKIP_DOWNLOAD" env variable to skip download.”的错误,安装失败。

你可能感兴趣的:(爬虫应用示例--puppeteer数据抓取的实现方法(续1))