python爬虫入门自我答疑:selenium的介绍

selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。

selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。

为了使用selenium 我下载安装一个与自用浏览器配套的chormedriver。

在使用之前,如果需要指定浏览器:

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()

访问你想让它打开的页面:

from selenium import webdriver

browser = webdriver.Chrome()

browser.get("http://www.baidu.com")

爬虫时常用它来获取cookies:

get_cookies()
delete_all_cookes()
add_cookie()

需要用它来查找元素:

这里列举一下常用的查找元素方法:

find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

或许需要它代替你完成输入或点击操作:

#清空账号框中的内容
driver.find_element_by_xpath("./*//input[@name='account']").clear()
#自动填入登录用户名
driver.find_element_by_xpath("./*//input[@name='account']").send_keys(user)
#清空密码框中的内容
driver.find_element_by_xpath("./*//input[@name='password']").clear()
#自动填入登录密码
driver.find_element_by_xpath("./*//input[@name='password']").send_keys(password)

 

你可能感兴趣的:(python爬虫入门自我答疑:selenium的介绍)