selenium使用详解

爬虫自动化工具selenium详解
Selenium详解:
自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染的问题
安装:
pip3 install selenium
用法:
from selenium import webdriver
browser = webdriver.Chrome()#创建一个chrome浏览器对象
browser.get(‘http://www.baidu.com’)
input = browser.find_element_by_id(‘kw’) 查找一个元素
input.send_keys(‘Python’)
input.send_keys(keys.ENTER) 模拟敲入回车
wait = WebDriverWait（browser，10） 等待某个元素被加载出来
browser.close()
browser.page_sourse 获取页面

通过css选择器选择一个元素
browser.find_element_by_id(‘q’)
browser.find_element_by_css_selector(’#q’)
browser.find_element_by_xpath(xpath选择器)

通用:
browser.find_element(By.id, ‘q’)
browser.find_element(By.css,’#q’)

查找多个元素:
element 加s elements
…

元素交互操作
send_keys(xx)
time.sleep(1)
input.clear()
input.send_keys(xxx)

交互操作:模拟鼠标拖拽滚动条的操作
from selenium.webdriver import ActionChains