python爬虫之selenium+phantomjs/Chrome/Firefox
selenium
- 定义
1、Web自动化测试工具，可运行在浏览器,根据指令操作浏览器
2、只是工具，必须与第三方浏览器结合使用
- 安装
Linux: sudo pip3 install selenium
Windows: python -m pip install selenium
phantomjs浏览器
- 定义
无界面浏览器(又称无头浏览器)，在内存中进行页面加载,高效
- 安装(phantomjs、chromedriver(类似能驱动浏览器,启动谷歌的)、geckodriver(启动火狐的))
Windows
1、下载对应版本的phantomjs、chromedriver、geckodriver
2、把chromedriver.exe拷贝到python安装目录的Scripts目录下(添加到系统环境变量)
# 查看python安装路径: where python
3、验证
cmd命令行: chromedriver
# 下载地址
chromedriver : 下载对应版本（输入chrome://version/）查看自己的浏览器版本
http://chromedriver.storage.googleapis.com/index.html
http://npm.taobao.org/mirrors/chromedriver/
geckodriver
https://github.com/mozilla/geckodriver/releases
Linux
1、下载后解压
tar -zxvf geckodriver.tar.gz
2、拷贝解压后文件到 /usr/bin/ （添加环境变量）
sudo cp geckodriver /usr/bin/
3、更改权限
sudo -i
cd /usr/bin/
chmod 777 geckodriver
安装方法都一样,就phantomjs有点区别,解压后,找到bin,将bin里面的内容添加到环境变量
- 使用
示例代码一：使用 selenium+浏览器 打开百度
from selenium import webdriver
import time
browser = webdriver.Chrome(excutable_path='/路径/geckodriver') # 如果没添加到环境变量需要指明路径
browser.get('http://www.baidu.com/')
browser.save_screenshot('baidu.png')
browser.quit()
示例代码二：打开百度，搜索赵丽颖，查看
from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/')
# 向搜索框(id kw)输入 赵丽颖 查看代码,看输入框的name是什么,百度的name=kw
ele = browser.find_element_by_xpath('//*[@id="kw"]')
ele.send_keys('赵丽颖')
time.sleep(1)
# 点击 百度一下 按钮(id su)
su = browser.find_element_by_xpath('//*[@id="su"]')
su.click()
# 向搜索框输入美女
browser.find_element_by_id('kw').send_keys('美女')
# 点击百度一下按钮
browser.find_element_by_id('su').click()
# 给出时间加载页面
time.sleep(2)
# 点击下一页
browser.find_element_by_class_name('n').click()
# 截图
browser.save_screenshot('赵丽颖.png')
# 关闭浏览器
browser.quit()
- 浏览器对象(browser)方法
1、browser = webdriver.Chrome(executable_path='path')
2、browser.get(url)
3、browser.page_source # 查看响应内容
4、browser.page_source.find('字符串')
# 从html源码中搜索指定字符串,没有找到返回：-1
# 应用场景,主要使用判断是否是最后一页
5、browser.quit() # 关闭浏览器
代码:
from selenium import webdriver
# 创建浏览器对象
browser = webdriver.Chrome()
# 打开百度
browser.get('http://www.baidu.com')
# 打印响应内容
html = browser.page_source
result = browser.page_source.find('kw')
print(result)
- 定位节点
单元素查找(1个节点对象)
# 找到第一个节点就返回
1、browser.find_element_by_id('')
2、browser.find_element_by_name('')
3、browser.find_element_by_class_name('')
4、browser.find_element_by_xpath('')
... ...
多元素查找([节点对象列表])
1、browser.find_elements_by_id('')
2、browser.find_elements_by_name('')
3、browser.find_elements_by_class_name('')
4、browser.find_elements_by_xpath('')
... ...
- 节点对象操作
1、ele.send_keys('') # 搜索框发送内容
2、ele.click() # 点击事件
3、ele.text # 获取文本内容
4、ele.get_attribute('src') # 获取属性值
chromedriver设置无界面模式
from selenium import webdriver
options = webdriver.ChromeOptions()
# 添加无界面参数
options.add_argument('--headless')
browser = webdriver.Chrome(options=options)
browser.get('http://www.baidu.com/')
browser.save_screenshot('baidu.png')
切换页面
1、适用网站
页面中点开链接出现新的页面，但是浏览器对象browser还是之前页面的对象
2、应对方案
# 获取当前所有句柄（窗口）
all_handles = browser.window_handles
# 切换到新的窗口
browser.switch_to_window(all_handles[1])
Web客户端验证
弹窗中的用户名和密码如何输入？
不用输入，在URL地址中填入就可以
示例：
from selenium import webdriver
# 注意在协议中添加:用户名:密码@
url = 'http://username:password@www.***.com'
browser = webdriver.Chrome()
browser.get(url)