selenium可调用firefox chrome phantomjs等各种浏览器
(然而对于有界面的浏览器,还是ubuntu14.04原版自带的firefox支持最好)
有时候需要更改请求头
比如做爬虫 要爬手机版的页面 就要将其user-agent改成android的
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium import webdriver
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = "Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30"
driver = webdriver.PhantomJS(desired_capabilities=dcap)
#设置页面加载时间
driver.set_page_load_timeout(2)
driver.get('http://www.sina.com')
(注意:我这是使用的phantomjs无界面浏览器,所以除了sudo pip install selenium外 还要sudo pip install phantomjs)