Centos6和Centos7的Selenium+Chromedriver配置采坑集锦

Mac

通过借助强大的brew

brew install selenium
brew install chromedriver

Centos6

6安装完成Chrome和ChromeDriver之后(看下面的步骤)
测试时提示
chromedriver: /lib64/libc.so.6: version GLIBC_2.14 not found (required by chromedriver)
解决办法

wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz
tar zxvf glibc-2.14.tar.gz
cd glibc-2.14
mkdir build
cd build
../configure --prefix=/opt/glibc-2.14
make -j4
sudo make install
export LD_LIBRARY_PATH=/opt/glibc-2.14/lib

再次运行试一试

chromedriver

输出诸如即为成功
Starting ChromeDriver 2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7) on port 9515 Only local connections are allowed. [1530767652.582][SEVERE]: CreatePlatformSocket() returned an error, errno=97: Address family not supported by protocol (97)

Centos6.5默认的git版本是1.71这个就有点问题,当用ssh时会提示错误,报401错误。解决办法,最好是升级git到最新版本如 2.1.2版本。如下操作

cd /usr/src
wget https://www.kernel.org/pub/software/scm/git/git-2.1.2.tar.gz
tar xzf git-2.1.2.tar.gz
cd git-2.1.2
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/bashrc
source /etc/bashrc
git --version
输出 git version 2.1.2 说明正确安装

Centos7

这个坑非常之多
下面是详细的解决步骤
另外强烈建议使用Pyenv配置Python开发环境

查看Linux的位数

getconf LONG_BIT

首先安装Google浏览器 选择66版本, 先下载后安装

sudo yum install https://dl.google.com/linux/direct/google-chrome-stable-66.0.3359.181-1.x86_64.rpm


查看输出信息

Installed:
  google-chrome-stable.x86_64 0:66.0.3440.106-1 

如果装太高的版本,比如71有可能报这个错,安装不成功,目前我没好的解决办法,不推荐

Error: Package: google-chrome-stable-71.0.3578.98-1.x86_64 (/google-chrome-stable_current_x86_64)
           Requires: liberation-fonts
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest

然后按照ChromeDriver 选择2.40(与参照表一致,不一致会出大问题)

之后打开地址 https://chromedriver.storage.googleapis.com/index.html

或者你的服务器可以连上VPN的话直接下载

wget https://chromedriver.storage.googleapis.com/2.40/chromedriver_linux64.zip

附录一张参照表

ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
ChromeDriver v2.35 (2018-01-10)----------Supports Chrome v62-64

我遇到的诸多坑,各种报错,启动不了Chrome,是因为用了较低版本的Chrome和ChromeDriver
经过试验, 68版本和2.40版本的目前使用很稳定。

开始解压缩安装, 移动

unzip chromedriver_linux64.zip
mv chromedriver /usr/bin/

配置环境变量

export PATH="$PATH:/usr/local/chromedriver"
source ~/.bashrc

最后验证

chromedriver

输出类似信息代表成功

Starting ChromeDriver 2.40.565383 (76257d1ab79276b2d53ee976b2c3e3b9f335cde7) on port 9515
Only local connections are allowed.

代码设置

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--no-sandbox')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)

注意要加上 --no-sandbox
另外如果你使用browser.close() 如果你的爬虫程序异常终止,比如你用Pycharm跑一个任务时,强制停止以后,打开shell键入

ps aux | fgrep chromedriver

会发现有未关闭的进程!我本机一度因为这个问题有上百个。但是机器内存大一直没发现。后来在1G内存的服务器(拨号服务器)上发现的问题。
这么多进程,首先压要关掉,如果用 kill -9 pid 会非常麻烦 批量杀死进程名为chromedriver的如下命令

ps -efww|grep LOCAL=chromedriver|grep -v grep|cut -c 9-15|xargs kill -9 

回归正题,webdriver关闭使用quit即可阻止这个情况的发生。

还有Python项目里如果自定义的module(一定会有的)
记得在 .bashrc / .bash_profile / .zshrc 下配置环境变量 如

export PYTHONPATH=~/WebdriverSpider    #你的工程目录

否则会报错ModuleNotFoundError: No module named ' xxx ' 这个问题也是巨坑无比
因为你平常都是在PyCharm内直接运行,它会把你的项目给加到PYTHONPATH里。但是你在linux上部署,是直接走的Python命令就会有问题!

安装依赖的库

pip install selenium
pip install pymysql
pip install chromedriver

测试

python  test.py
报错
Traceback (most recent call last):
  File "hc360_sku_list.py", line 3, in 
    import db.python_mysql as pm
ModuleNotFoundError: No module named 'db'

原因是要把工程的路径配置到环境变量里,否则python找不到

vim .bashrc
export PYTHONPATH="/root/python-projects/CFW_DATA_WEBDRIVER_SPIDER:/root/python-projects/CFW_DATA_SCRAPY_SPID
ER"

你可能感兴趣的:(Centos6和Centos7的Selenium+Chromedriver配置采坑集锦)