[python爬虫] Selenium切换窗口句柄及调用Chrome浏览器
因为我的博客是根据我每个阶段自己做的事情而写的，所以前言可能有点跑题，但它更有利于让我回忆这个阶段自己的所作所为。这篇文章主要介绍Selenium爬虫获取当前窗口句柄、切换窗口句柄以及调用Chrome浏览器几个知识点，其中获取当前句柄的方法是非常重要的一个知识点，只有真正遇到的时候才能体会到它的强大。
最近课程比较多，写博客的内容也比较杂，包括网站搭建、HTML设计、计算机图形学、Python数据挖掘、Flash动画等。同时，这周也有老师让我帮忙写几个爬虫，自己进一步理解了爬虫的好处：一方面，人文课题如果运用计算机相关编程知识，确实能够解决很多问题并提升效率；另一方面，我爬虫主要使用Selenium、BeautifulSoup和Scrapy，其中Selenium能够结合浏览器解决登录验证码、扫二维码、效果预览、自动测试等问题；BeautifulSoup的优势是速度，两种方法都是通过分析DOM树结构实现的。
希望这篇文章对你有所帮助，如果有错误或不足之处，还请海涵~更多爬虫主题参考我的专栏： http://blog.csdn.net/column/details/eastmount-spider.html
![[python爬虫] Selenium切换窗口句柄及调用Chrome浏览器_第1张图片](http://img.e-com-net.com/image/info8/e7d2738d4459450e94135495d468520c.jpg)
实例代码如下所示，它会依次打开每个导航栏，在爬取关闭。
![[python爬虫] Selenium切换窗口句柄及调用Chrome浏览器_第3张图片](http://img.e-com-net.com/image/info8/ae685751f053410db3901912638d11a5.jpg)
最后希望这篇文章对你有所帮助，因为第三部分代码涉密，消除了些东西，但原理和方法更重要，希望你也能灵活应用。同时明天评估专家就来了，虽然干活到2点，但还是想写一篇文章，记录最近两天研究的东西，很重要的一个知识点。继续享受博客和教学吧，同时期待我最近欣赏的某个人吧！杨老师加油~
(By:Eastmount 2016-11-21 凌晨4点半 http://blog.csdn.net/eastmount/ )
最近课程比较多，写博客的内容也比较杂，包括网站搭建、HTML设计、计算机图形学、Python数据挖掘、Flash动画等。同时，这周也有老师让我帮忙写几个爬虫，自己进一步理解了爬虫的好处：一方面，人文课题如果运用计算机相关编程知识，确实能够解决很多问题并提升效率；另一方面，我爬虫主要使用Selenium、BeautifulSoup和Scrapy，其中Selenium能够结合浏览器解决登录验证码、扫二维码、效果预览、自动测试等问题；BeautifulSoup的优势是速度，两种方法都是通过分析DOM树结构实现的。
希望这篇文章对你有所帮助，如果有错误或不足之处，还请海涵~更多爬虫主题参考我的专栏： http://blog.csdn.net/column/details/eastmount-spider.html
一. 调用Chrome浏览器
首先，假设通过Firefox()浏览器定向爬取CSDN首页导航栏信息，审查元素代码如下图所示，在div class="menu"路径的ul、li、a下，同时可以定位ul class="clearfix"。
代码如下所示：
# coding=utf-8
import os
from selenium import webdriver
#PhantomJS无界面浏览器
##driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")
#打开火狐浏览器
driver = webdriver.Firefox()
url = "http://www.csdn.net/"
driver.get(url)
#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")
for elem in elem_dh:
print elem.text #获取正文
print elem.get_attribute('href') #获取属性值
# coding=utf-8
import os
from selenium import webdriver
#PhantomJS无界面浏览器
##driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")
#打开火狐浏览器
#driver = webdriver.Firefox()
#谷歌浏览器
chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
#WebDriverException: Message: unknown error: session deleted because of page crash
url = "http://www.csdn.net/"
driver.get(url)
#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")
for elem in elem_dh:
print elem.text #获取正文
print elem.get_attribute('href') #获取属性值
print '\n'
>>> ================================ RESTART ================================
>>>
极客头条
http://geek.csdn.net/
知识库
http://lib.csdn.net/
学院
http://edu.csdn.net/
论坛
http://bbs.csdn.net/
博客
http://blog.csdn.net/
下载
http://download.csdn.net/
问答
http://ask.csdn.net/
商城
http://mall.csdn.net/
ITeye
http://www.iteye.com/
CODE
https://code.csdn.net/
活动
http://huiyi.csdn.net/
CTO
http://cto.csdn.net/
外包
http://www.csto.com/
程序员
http://special.csdncms.csdn.net/programmer-covers
APP
http://www.csdn.net/app
>>> 二. 获取当前句柄并切换窗口句柄
在使用Selenium爬取知识过程，通常会遇到_blank弹出新窗体，或窗体是弹出的那种情况，而且有的需要登录，如：新浪微博、微信公众号、京东等，使用webdriver.Firefox()重新打开新窗体是无法加载已有信息的。这时候就需要通过获取当前句柄再进行窗口切换。
这里使用该方法实现获取CSDN导航栏的每条导航的标题信息，因为它是_blank弹出新窗体。需要注意每次窗口句柄移动都需要重新定位它们的主窗体。
核心代码：
#获取当前窗口句柄
now_handle = driver.current_window_handle
print now_handle
#获取所有窗口句柄
all_handles = driver.window_handles
for handle in all_handles:
if handle!=now_handle:
#输出待选择的窗口句柄
print handle
driver.switch_to_window(handle)
time.sleep(1)
#具体操作
elem_bt = driver.find_element_by_xpath("...")
driver.close() #关闭当前窗口
#输出主窗口句柄
print now_handle
driver.switch_to_window(now_handle) #返回主窗口实例代码如下所示，它会依次打开每个导航栏，在爬取关闭。
# coding=utf-8
import os
import time
from selenium import webdriver
#By：Eastmoun 2016-11-21 凌晨4:26
#打开火狐浏览器
driver = webdriver.Firefox()
url = "http://www.csdn.net/"
driver.get(url)
#xpath路径定位导航栏
elem_dh = driver.find_elements_by_xpath("//div[@class='menu']/ul/li/a")
#获取当前窗口句柄
now_handle = driver.current_window_handle
print now_handle
#循环获取界面
for elem in elem_dh:
print elem.text #获取正文
print elem.get_attribute('href') #获取属性值
#点击进入新的界面 _blank弹出
elem.click()
#获取所有窗口句柄
all_handles = driver.window_handles
#弹出两个界面,跳转到不是主窗体界面
for handle in all_handles:
if handle!=now_handle:
#输出待选择的窗口句柄
print handle
driver.switch_to_window(handle)
time.sleep(1)
print u'弹出界面信息'
print driver.current_url
print driver.title
#获取登录连接信息
elem_sub = driver.find_element_by_xpath("//ul[@class='btns']/li/a")
print elem_sub.text
print elem_sub.get_attribute('href')
print ''
#关闭当前窗口
driver.close()
#输出主窗口句柄
print now_handle
driver.switch_to_window(now_handle) #返回主窗口 开始下一个跳转
输出结果如下所示：
>>> ================================ RESTART ================================
>>>
{833ee0ee-c408-432a-ab54-1222a22f580c}
极客头条
http://geek.csdn.net/
{50e7dfc6-72d8-4577-99ca-47344a068528}
弹出界面信息
http://geek.csdn.net/
最新最热 - 极客头条 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
知识库
http://lib.csdn.net/
{4501a3d1-8ab3-4a5e-984b-ace648494f94}
弹出界面信息
http://lib.csdn.net/
知识库 - 你身边的技术百科全书 - CSDN
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
学院
http://edu.csdn.net/
{4525da42-fd77-4f04-b2f9-1687d75c1e19}
弹出界面信息
http://edu.csdn.net/
CSDN学院 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
论坛
http://bbs.csdn.net/
{c24493c1-c937-4a90-85a1-e11f7be870c4}
弹出界面信息
http://bbs.csdn.net/home
CSDN论坛首页 - CSDN.NET-CSDN论坛-CSDN.NET-中国最大的IT技术社区
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
博客
http://blog.csdn.net/
{a4686eae-b437-4b97-97a2-160024359ade}
弹出界面信息
http://blog.csdn.net/
博客频道 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
下载
http://download.csdn.net/
{42cf058e-e093-4619-beae-4454aaba29a3}
弹出界面信息
http://download.csdn.net/
下载频道 - CSDN.NET
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
问答
http://ask.csdn.net/
{cb0633e2-45a5-406d-9aaa-79ea994e1f6a}
弹出界面信息
http://ask.csdn.net/
编程技术问答-CSDN问答频道
登录
https://passport.csdn.net/account/login?ref=toolbar
{833ee0ee-c408-432a-ab54-1222a22f580c}
商城
http://mall.csdn.net/
{126f85af-d5e4-4d40-a89e-6fbb575a972b}
弹出界面信息
http://mall.csdn.net/
CSDN商城
登录
https://passport.csdn.net/account/login?ref=toolbar
三. 一段代码 在线笔记
下面这段代码是我的在线笔记，由于代码非常有用，所以我隐藏了些东西，但绝对好用，而且是结合上面的内容。同时，在登录过程中，我建议大家time.sleep()函数暂停，输入验证码、扫描二维码都是可行的。
# -*- coding: utf-8 -*-
# By: Eastmount 2016-11-21 凌晨4点半
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import os
#模拟登陆
chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
driver = webdriver.Chrome(chromedriver)
now_handle = driver.current_window_handle #获取当前窗口句柄
#driver = webdriver.Firefox()
#暂停10秒手动输入网址
time.sleep(3)
#用户名 密码
driver.get("xxxxxxxxxxx")
elem_user = driver.find_element_by_id("account")
elem_user.send_keys("******")
elem_pwd = driver.find_element_by_id("pwd")
elem_pwd.send_keys("******")
elem_pwd.send_keys(Keys.RETURN)
#暂定60秒扫二维码 跳转到定向页面
time.sleep(60)
#登录用户管理 获取相关标签
print driver.current_url
elem_user = driver.find_elements_by_xpath("//td[@class='table_cell user']/div/a[1]")
now_handle = driver.current_window_handle #获取当前窗口句柄
print now_handle #输出当前获取的窗口句柄
#单击操作
for elem in elem_user:
print '########################################'
print elem.text
#点击进入查看详细用户
elem.click()
"""
NoSuchElementException: Message: no such element
因为总是获取当前句柄 故找不到相关的界面，需要窗口句柄转换
"""
all_handles = driver.window_handles #获取所有窗口句柄
for handle in all_handles:
if handle!=now_handle:
#输出待选择的窗口句柄
print handle
driver.switch_to_window(handle)
time.sleep(1)
#点击"图文消息"
elem_tw = driver.find_element_by_xpath("//li[@class='tab_nav tab_appmsg width5']/a")
#elem_tw = driver.find_element_by_xpath("//div[@class='tab_navs_wrp']/ul/li/a")
print elem_tw.text
print elem_tw.get_attribute("href")
elem_tw.click()
time.sleep(1)
#点击 '从素材库中选择'按钮
elem_sc = driver.find_element_by_xpath("//span[@class='create_access']/a")
print elem_sc.text
print elem_sc.get_attribute("href")
elem_sc.click()
time.sleep(1)
#点击素材 '11-14 星期二中奖名单' 注意是id
#elem_dj = driver.find_element_by_xpath("//div[@class='edit_mask appmsg_mask']")
#elem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']/div/div[2]")
elem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']")
print elem_dj.text
print elem_dj.get_attribute("href")
elem_dj.click()
time.sleep(1)
#SyntaxError: Failed to execute 'evaluate' on 'Document': The string
#'//div[@class='appmsg503811334']/div/' is not a valid XPath expression.
#WebDriverException: Message: unknown error: Element is not clickable
#at point (473, 361). Other element would receive the click:
#...
#获取'确定按钮'
elem_bt = driver.find_element_by_xpath("//div[@class='dialog_ft']/span[1]/button")
print elem_bt.text
print elem_bt.get_attribute("class")
elem_bt.click()
time.sleep(1)
#点击 '发送'
elem_fs = driver.find_element_by_xpath("//span[@id='js_submit']/button")
print elem_fs.text
print elem_fs.get_attribute("class")
elem_fs.click()
time.sleep(1)
#关闭当前窗口
driver.close()
#输出主窗口句柄
print now_handle
driver.switch_to_window(now_handle) #返回主窗口
#break
print '\n\n'
#暂停换页
#登录用户管理 获取相关标签
print '********************************************'
print '********************************************'
print u'换页操作1'
#elem_next = driver.find_elements_by_xpath("//a[@class='btn page_next']")
#elem_next.click()
time.sleep(10)
elem_user = driver.find_elements_by_xpath("//td[@class='table_cell user']/div/a[1]")
now_handle = driver.current_window_handle #获取当前窗口句柄
print now_handle #输出当前获取的窗口句柄
#单击操作
for elem in elem_user:
print '########################################'
print elem.text
#点击进入查看详细用户
elem.click()
all_handles = driver.window_handles #获取所有窗口句柄
for handle in all_handles:
if handle!=now_handle:
#输出待选择的窗口句柄
print handle
driver.switch_to_window(handle)
time.sleep(1)
#点击"图文消息"
elem_tw = driver.find_element_by_xpath("//li[@class='tab_nav tab_appmsg width5']/a")
print elem_tw.text
print elem_tw.get_attribute("href")
elem_tw.click()
time.sleep(1)
#点击 '从素材库中选择'按钮
elem_sc = driver.find_element_by_xpath("//span[@class='create_access']/a")
print elem_sc.text
print elem_sc.get_attribute("href")
elem_sc.click()
time.sleep(1)
#点击素材 注意是id
elem_dj = driver.find_element_by_xpath("//div[@id='appmsg503811334']")
print elem_dj.text
print elem_dj.get_attribute("href")
elem_dj.click()
time.sleep(1)
#获取'确定按钮'
elem_bt = driver.find_element_by_xpath("//div[@class='dialog_ft']/span[1]/button")
print elem_bt.text
print elem_bt.get_attribute("class")
elem_bt.click()
time.sleep(1)
#点击 '发送'
elem_fs = driver.find_element_by_xpath("//span[@id='js_submit']/button")
print elem_fs.text
print elem_fs.get_attribute("class")
elem_fs.click()
time.sleep(1)
driver.close() #关闭当前窗口
#输出主窗口句柄
print now_handle
driver.switch_to_window(now_handle) #返回主窗口
#break
print '\n\n'
最后希望这篇文章对你有所帮助，因为第三部分代码涉密，消除了些东西，但原理和方法更重要，希望你也能灵活应用。同时明天评估专家就来了，虽然干活到2点，但还是想写一篇文章，记录最近两天研究的东西，很重要的一个知识点。继续享受博客和教学吧，同时期待我最近欣赏的某个人吧！杨老师加油~
(By:Eastmount 2016-11-21 凌晨4点半 http://blog.csdn.net/eastmount/ )