selenium和phantomJS

selenium概述

• selenium是一套web网站自动化测试工具,主要是通过命令行的操作完成常规可视化界面下的用户各种操作行为，因为其简单易学成本低，并且执行测试效率较高而在web自动化测试方面比较突出，该库可以直接运行操作各种主流浏览器，辅助浏览器自动完成表单互动、鼠标点击、鼠标拖拽、窗口切换等等各种用户行为，是一套非常好用且强大的测试库，但是selenium没有内置的浏览器模块，不能独立运行，必须要和第三方浏览器配合使用才可以完成自动化测试操作.
• 在实际操作的过程中，经常使用selenium和各大主流浏览器共同操作，如谷歌、火狐、IE等等，但是在selenium自动化测试发展过程中，有一个特殊的浏览器经常用于和它配合使用，就是比较出名的无界面浏览器phantomJS

---

• 爬虫为什么要使用selenium和phantomjs?
  • 数据具有一定的保密性，可以通过反爬虫操作，让数据不能被非法用户直接提取.但是~注意：我们服务器的数据，只要是正常用户可以访问的，就是通过请求可以提取到的数据，这里主要是对数据进行了高度的反爬虫操作[当数据的保密性达到一定程度时，反爬虫操作就会非常复杂]
  • 此时：我们要考虑问题是~有没有可能花费对应的成本来破解对方的反爬虫
    • 有条件：通过反反爬虫操作，破解对方服务器中的反爬虫措施，完成数据的采集，相对的~成本特别高！
    • 没有成熟条件：通过正常请求直接获取数据[浏览器发起的请求！]直接通过selenium和phantomjs发起正常请求直接获取数据！
    • 谷歌浏览器直接访问页面，右键保存源代码~~效率特别低
    • selenium+phantomjs可以通过编码的形式完成请求采集数据的要求~效率控制

---

selenium和Phantomjs怎么使用?

• 安装selenium和Phantomjs
  • selenium安装
    • pip install -U selenium
  • phantomjs安装
    • phantomjs不是python的模块，而是一个独立的软件,需要访问phantomjs官方网站进行下载，下载的压缩包解压之后~将phantomjs配置到系统环境变量中/或者将phantomjs存放在自己的项目中独立使用.
• selenium核心api
  • selenium.webdriver：核心驱动模块
  • driver = webdriver.PhantomJS()
  • driver = webdriver.Chrom()
  • driver.get(“http://www.baidu.com”)
  • find_element_by_id(‘’)
  • find_element_by_name(‘’)
  • find_elements_by_name(‘’)
  • find_elements_by_xpath(‘//input’)
  • find_elements_by_link_text(‘精确查找’)
  • find_elements_by_partial_link_text(“文本模糊查找”)
  • find_elements_by_css_seletor(‘#box div’)
  • find_elemnets_by_tag_name(‘div’)
  • find_elements_by_class_name(‘box’)
• 表单操作
  • 直接在表单输入框中填写数据
    • driver.find_element_by_id(‘username’).send_keys(u’admin’)
  • 下拉列表框
    • from selenium.webdriver.support.ui import Select
    • sl = Select(driver.find_element_by_id(‘city’))
    • sl.select_by_index(2)
    • sl.select_by_value(‘zz’)# 郑州
    • sl.select_by_visible_text(‘郑州’)# 郑州
  • 键盘按键
    • from selenium.webdriver.common.keys import Keys
    • ..send_keys(Keys.CONTROL)
    • ..send_keys(Keys.ALT)#Alt
    • ..send_keys(Keys.NUMBER1)
    • ..send_keys(Keys.CONTROL, ‘a’)
  • 鼠标操作
    • from selenium.webdriver import ActionChains
    • su 有一个得到的标签 = driver.find_element_by_id(‘su’)
    • ActionChains(driver).move_to_element(su).perform()
    • ActionChains(driver).move_to_element(su).click(su).perform()

---

什么情况下会用到selenium和phantomjs操作?

• 对于数据量并不是很大的常规数据采集，一般使用requests直接采集数据即可
• 对于目标数据进行了非常复杂的反爬虫操作的网站,一般使用selenium+phantomjs进行数据采集.phantomjs：无界面浏览器，在操作过程中相对于其他浏览器操作效率较高！
• 对于数据量较大的爬虫采集数据的行为，一般通过多线程或者多进程的方式以及scrapy框架和它分布式操作的方式采集数据

---

登录案例

• 模拟csnd登录

# _*_ coding:utf-8 _*_

# 引入需要的模块:自动化测试
from selenium import webdriver

# 启动phantomjs无界面浏览器
driver = webdriver.PhantomJS("../phantomjs-2.1.1-windows/bin/phantomjs.exe")

# 访问登录页面
driver.get("https://passport.csdn.net/account/login?ref=toolbar")

# 截图查看是否访问成功
# driver.save_screenshot("csdn1.png")

# 登录表单中填写数据
driver.find_element_by_id("username").send_keys(u"15938661527")
driver.find_element_by_id("password").send_keys(u"******")

# 截图查看数据是否填写正常
# driver.save_screenshot("csdn2.png")

# 开始登录
btn = driver.find_element_by_css_selector("#fm1 .logging")
btn.click()

# 打印登录之后的页面
# driver.save_screenshot("csdn3.png")

# 得到数据之后的网页源代码~提取数据
driver.page_source()