大数据学习笔记之爬虫系列(3)----selenium库的用法

selenium的安装

win+R 输入cmd打开命令行:

pip install selenium

selenium的简介

申明浏览器的对象

from selenium import webdriver
browser = webdriver.Chrome ()
browser = webdriver.firefox()
browser = webdriver.Android()
browser = webdriver.Edge()

对应的浏览器都需要下载对应版本的驱动,并配置环境变量。

访问网页

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
print(browser.page_source)
browser.close()

运行程序,得到如下:


访问淘宝页面.png

查找元素

查找单个元素

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)
browser.close()

上面代码中的browser.find_element_by_id、browser.find_element_by_css_selector、browser.find_element_by_xpath实质上是找的同一个元素,只是查找的方式不同。
所以,最终答应出来的信息应该是完全一样的,如下图:


查找同一个元素.png

查找多个元素

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements_by_css_selector(".service-bd li")
print(lis)
browser.close()

其实,查找多个元素就是由查找单个原色的find_element变成了find_elements.用法和查找单个元素基本一致 。


查找多个元素.png

另外一个用法是其“抽象方法”,具体代码示例如下:

browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements(By.CSS_SELECTOR,".service-bd li")
print(lis)
browser.close()

运行结果和上诉一致:


查找多个元素之抽象方法.png

元素交互操作

对获取的元素进行交互操作

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get("http://www.taobao.com")
input = browser.find_element_by_id('q')
input.send_keys('IPhone')
time.sleep(1)
input.clear()
input.send_keys("IPad")
button = browser.find_element_by_class_name('btn-search')
button.click()

上诉代码主要是打开淘宝网,然后现在搜索框里面输入“IPhone”,然后1s之后删除,再次输入“IPad”,点击【搜索按钮】。

交互操作

可以将网页中的一些元素进行拖拽,需要引入ActionChains:

from selenium.webdriver import ActionChains
actions = ActionChains(source,target)
actions.perform()

执行JavaScript

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
browser.execute_script('Windows.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Buttom")')

打开知乎,并下滑到页面的最底端。

获取元素信息

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

上诉代码是进入知乎的首页,并且找到知乎的logo信息,然后将其class属性打印出来。结果如下:


关于知乎的logo.png

获取属性

上诉最后一行代码即为获取文本值

获取文本值

获取知乎【提问】的文本值,代码如下:

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)

运行的结果如下:


获取文本.png

上图可知,程序成功的将制定的按钮的文本信息提取出来。

获取ID、位置、标签名、大小

对应的代码如下:

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.id)
print(input.size)
print(input.location)
print(input.tag_name)

程序运行得到以下的结果:


获取ID&SIZE&LOCATION&TAG_NAME.png

Frame

frame的本意是“架构,框架”,一个网页可以理解为由多个frame组成,且这些frame之间有父子继承关系。


frame.png

当元素所处的frame不确定时,需要用相关的switch_to进行相关的逻辑选择。

等待

隐式等待

隐式等待的默认时间是0,就是在指定的时间内找不到需要找的元素则会抛出相关的异常信息。

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)

一般来说,只有在网速很慢的情况下有必要加载这个等待的时间设置。

显示等待

显式等待比较常用,意思是按照编程的逻辑去查找一些元素,或者属性,在指定的时间过去之后不能查找到,则抛出异常。

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
wait = WebDriverWait(browser,10)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
button = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,'.btn-search'))
print(input,button)
显示等待.png

浏览器的前进和后退

browser.back()
browser.forward()

Cookies

将笔记本里知乎里面所有的cookies打印出来,然后全部删除

browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

程序运行的结果是:


cookies操作.png

选项卡的管理

实质上还是进行相关的script操作:

browser.execute_script('window.open()')

往期好文:
大数据学习笔记之爬虫系列(2)----爬虫常用库
大数据学习笔记之爬虫系列(1)----爬虫简介

你可能感兴趣的:(大数据学习笔记之爬虫系列(3)----selenium库的用法)