ubuntu selenium爬虫部署
Ubuntu python部署selenium（踩坑日记）
菜鸟的配置过程
下载selenium
#更新源
sudo apt-get update
#pip3安装（ubuntu自带python但是没有安装pip）
sudo apt install python3-pip
#安装selenium
pip install selenium
下载chrome和chromedriver
webdriver下载网站
http://chromedriver.storage.googleapis.com/index.html
chrome下载网站
https://www.chromedownloads.net/chrome64win-stable/
随便选择一个版本号对应的下载即可
将chrome下载文件中的deb格式安装（rpm包舍弃）
#更新源
sudo apt-get update
#安装谷歌
sudo dpkg -i google-chrome-stable_current_amd64.deb
#报错安装谷歌依赖重复第二步
sudo apt-get -f install
将chromedriver加入环境
mv chromedriver /usr/local/bin/
chmod 777 /usr/local/bin/chromedriver
查看chrome的版本
google-chrome --version
查看chromedriver的版本
终端输入
chromedriver
查看两个版本相同即可
代码部分
踩坑1 ：
加入代码以root用户运行
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage'）
踩坑2：
无头运行
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
踩坑3
无头模式需要设置游览器大小，如果太小的游览器则一些元素定位不到
browser = webdriver.Chrome(options=chrome_options)
browser.set_window_size(2000, 2000)
browser.maximize_window()
踩坑4
无法使用下xpath方法定位元素（有木有大佬告诉我一下是什么原因）
#导入新版本查找定位的包
from selenium.webdriver.common.by import By
#使用傻傻的方式定位
browser.find_elements(By.CLASS_NAME, 'fine-font')[12].click()
踩坑5
crontab定时启动selenium脚本时，需要把环境变量以绝对路径传入
#新版本导入路径 需导入包
from selenium.webdriver.chrome.service import Service
service=Service('/root/python_pro/chromedriver')
省略
browser = webdriver.Chrome(service=service,options=chrome_options)
踩坑6
等待sleep 云服务器带宽低 请延长等待时间
#跳转新页面 在implicitly_wait后加入sleep强制延时
#因为有些网站异步加载
browser.implicitly_wait(5)
time.sleep(5)
踩坑7
implicitly_wait只需声明一次 整个driver生命周期都可以使用
额外
建议使用Firefox配合selenium，chrome无头模式非常龟速
火狐游览器下载链接
http://releases.mozilla.org/pub/firefox/releases/
火狐驱动
https://github.com/mozilla/geckodriver/releases/tag/v0.31.0
使用方法与chrome一致