服务器上运行Selenium

有些时候,我们写点爬虫或者写点自动化脚本不能一直占据着某台电脑,那样太浪费资源了,所以将其部署到服务器上默默的在后台运行是一个不错的选择。
普通的python爬虫部署太过简单,这里就总结一下怎么部署selenium吧。

一:首先在服务器上安装chrome和其对应的chromedriver。这个非常重要,一定要下载和安装其一一对应的版本。

  1. 安装chrome
    sudo apt-get install libxss1 libappindicator1 libindicator7
    wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
    sudo dpkg -i google-chrome*.deb
    sudo apt-get install -f
    安装好之后我们看一下安装的版本
    google-chrome --version
  2. 安装chromedriver, 安装对应chrome版本的chromedriver
    wget 地址
    unzip chromedriver_linux64.zip
  3. 赋予chromedriver运行权限
    sudo chmod +x /usr/local/bin/chromedriver

二:进行脚本测试

from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(‘blink-settings=imagesEnabled=false’)
chrome_options.add_argument(’–headless’)
chrome_options.add_argument(’–disable-gpu’)
chrome_options.add_argument(’–no-sandbox’)
chrome_options.add_argument(’–disable-dev-shm-usage’)
chrome_options.add_argument(’–disable-extensions’)
driver = webdriver.Chrome(r’/usr/local/bin/chromedriver’, chrome_options=chrome_options)
driver.get(‘http://www.baidu.com’)
如果没有什么稀奇古怪的东西出现,说明selenium已经在服务中配置成功

三:如果下载下的chrome不符合你的要求的话,可以将其卸载掉
sudo apt-get remove google-chrome-stable

你可能感兴趣的:(爬虫框架)