centos7配置pyppeteer环境

1.安装pyppeteer

pip3 install pyppeteer

2.第一次运行程序时,会自动下载chromium
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
有时候可能因为国外下载速度太慢导致失败
这是修改安装包
pyppeteer文件夹下的chromium_downloader.py文件

修改
DEFAULT_DOWNLOAD_HOST = 'https://storage.googleapis.com'
为
DEFAULT_DOWNLOAD_HOST = 'https://npm.taobao.org/mirrors'

修改下载源

3.安装依赖

yum install libXcomposite libXcursor libXi libXtst libXScrnSaver libXrandr atk at-spi2-atk gtk3 -y

4.参数headless设置为True
5.另外pyppeteer是基于async异步框架的,如果没有需要安装

pip3 install async

你可能感兴趣的:(爬虫,linux)