python partial_【Python爬虫】学习selenium

Python爬虫系列文章：

• 【Python爬虫】理论基础及入门实践
• 【Python爬虫】学习BeautifulSoup
• 【Python爬虫】Xpath详解
• 【Python爬虫】正则表达式详解
• 【Python爬虫】Session和Cookie
• 【Python爬虫】ip代理

selenium

之前也写过一篇简单的使用：Python爬虫之selenium

这次整合一下新学习到的内容~

• selenium是什么：一个自动化测试工具（大家都是这么说的）
• selenium应用场景：用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等），在爬虫方面很有必要
• 准备工作：
  • 安装selenium（pip install selenium）
  • 安装chromedriver（一个驱动程序，用以启动chrome浏览器，具体的驱动程序需要对应的驱动，在官网上可以找到下载地址）
  • https://sites.google.com/a/chromium.org/chromedriver/downloads
  • 某宝的镜像：http://npm.taobao.org/mirrors/chromedriver/
  • chromedriver与chrome版本映射表参照： http://blog.csdn.net/huilan_same/article/details/51896672
  • 可以将chromedriver配置在环境变量中，或者放在某个目录下。

使用selenium的作用：

为什么要采用selenium来模拟登陆网页。最主要的原因我认为还是在于通过这种模拟登录方式获取的页面html代码，可以把js里的内容也获取到，而通过urllib方式模拟登录的方式虽然也可以伪装成浏览器的形式获取页面html代码，但是这里面的js，css代码是没有的，也就是没有动态的内容，达不到全面抓取数据的目的；当然除了selenium这种方式外，还有其他的途径也能获取到js等动态代码。 https:// blog.csdn.net/lukaishil ong/article/details/51888765

但是selenium调用浏览器时，跟我们手动打开浏览器效果一样，从开启到加载完毕，要耗费好几秒时间，加载不完就不能继续后面的操作；​如果要循环执行的话，这个方法的效率就很低。

基本使用

• driver = webdriver.Chrome() 打开Chrome浏览器
• driver = webdriver.Firefox() 打开Firefox浏览器
• driver = webdriver.Ie() 打开IE浏览器
• print(driver.title) 获取当前页面的title，比如 百度首页的标题是“百度一下，你就知道”
• driver.back() 相当于点击了浏览器的后退按钮
• driver.forward() 相当于点击了浏览器的前进按钮
• driver.maximize_window()将浏览器最大化
• driver.set_window_size(800, 720) //设置窗口大小为800*720
• driver.get_screenshot_as_file("D:/data/test.png") 屏幕截图保存为xx
• driver.refresh() 重新加载页面,页面刷新
• driver.close() 关闭当前页面
• driver.quit() 关闭所有由当前测试脚本打开的页面

1、导入模块：

from selenium import webdriver  # 启动浏览器需要用到
from selenium.webdriver.common.keys import Keys  # 提供键盘按键支持（最后一个K要大写）

2、创建一个WebDriver实例，比如我的驱动器放在上级目录中：

# chromedriver.exe的所在目录
driver = webdriver.Chrome("../chromedriver.exe")

运行上述代码后会打开谷歌浏览器

3、打开一个页面:

driver.get("http://www.python.org")  

这个时候chromedriver会打开一个Chrome浏览器窗口，显示的是网址所对应的页面

4、关闭页面

driver.close()  # 关闭浏览器一个Tab
# 或者
# driver.quit()  # 关闭浏览器窗口

高级-查找元素

在打开页面和关闭页面中间，就是各种操作！而查找元素这一点，和爬虫常见的HTML页面解析，定位到具体的某个元素基本一样，只不过，调用者是driver

• id定位：find_element_by_id(self, id_)，如browser.find_element_by_id('kw')
• name定位：find_element_by_name(self, name)
• class定位：find_element_by_class_name(self, name)
• tag定位：find_element_by_tag_name(self, name)
• link定位：find_element_by_link_text(self, link_text)
• partial_link定位(部分文本定位) find_element_by_partial_link_text(self, link_text)
• xpath定位：find_element_by_xpath(self, xpath)
• css定位：find_element_by_css_selector(self, css_selector）

上述方法也有对应的find_elements方法，表示一次查找多个元素（返回一个list）

比如想要寻找下列HTML代码对应的位置：

可以用下列代码查找（选择其中一种即可）

element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_element_by_tag_name("input")
element = driver.find_element_by_xpath("//input[@id='passwd-id']")

高级-页面交互

• 找到元素后，就是进行“交互”，如:（需提前导入模块）
• clear 清除元素的内容
• send_keys 模拟按键输入
• click 点击元素
• submit 提交表单

driver = webdriver.Chrome("../chromedriver.exe")
driver.get("http://www.python.org")  
element = driver.find_element_by_name("q")  

element.send_keys("some text")  # 往一个可以输入对象中输入“some text”

文本框中出现了"some text"。

element.send_keys(Keys.RETURN)  # 模拟键盘回车

输出了查询结果。

element = driver.find_element_by_name("q")  
#一般来说，这种方式输入后会一直存在，而要清空某个文本框中的文字，就需要：
element.clear()  # 清空element对象中的文字

文本框的内容被清空了。

如果鼠标点击的是类似于“保存为Excel文件”的按钮，click()执行之后就会自动下载文件，保存到默认目录（可以更改目录）。如果文件下载过多，需要对每一个文件命名，但是selenium似乎不提供这种功能（网上没找到相关资源），可以用下载后通过识别最新下载的文件然后进行重命名的方法对每一个文件命名。

import 

高级-等待页面加载（wait）

• 应用场景：含有ajax加载的page！因为在这种情况下，页面内的某个节点并不是在一开始就出现了，而在这种情况下，就不能“查找元素”，元素选择不到，就不好进行交互操作！等待页面加载这两个模块经常是一起导入的：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
#from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support.ui import WebDriverWait

• 隐式等待：设置某个具体的等待时间

base_url = "http://www.baidu.com"
driver = webdriver.Chrome("../chromedriver.exe")
driver.implicitly_wait(10) # seconds
driver.get(base_url)

• 显示等待：触发某个条件后才能够执行后续的代码

base_url = "http://www.baidu.com"
driver = webdriver.Chrome("../chromedriver.exe")
driver.get(base_url)
try:    
    element = WebDriverWait(driver, 10).until(           
        EC.presence_of_element_located((By.ID, "myDynamicElement")))
finally:    
    driver.quit()
#其中，presence_of_element_located是条件，By.ID是通过什么方式来确认元素（这个是通过id），"myDynamicElement"这个就是某个元素的ID

隐式等待和显示等待都存在时，超时时间取二者中较大的。

还可以有其他的条件：

WebDriverWait(driver,10).until(EC.title_is(u"百度一下，你就知道"))
'''判断title,返回布尔值'''

WebDriverWait(driver,10).until(EC.title_contains(u"百度一下"))
'''判断title，返回布尔值'''

WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,'kw')))
'''判断某个元素是否被加到了dom树里，并不代表该元素一定可见，如果定位到就返回WebElement'''

WebDriverWait(driver,10).until(EC.visibility_of_element_located((By.ID,'su')))
'''判断某个元素是否被添加到了dom里并且可见，可见代表元素可显示且宽和高都大于0'''

WebDriverWait(driver,10).until(EC.visibility_of(driver.find_element(by=By.ID,value='kw')))
'''判断元素是否可见，如果可见就返回这个元素'''

WebDriverWait(driver,10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'.mnav')))
'''判断是否至少有1个元素存在于dom树中，如果定位到就返回列表'''

WebDriverWait(driver,10).until(EC.visibility_of_any_elements_located((By.CSS_SELECTOR,'.mnav')))
'''判断是否至少有一个元素在页面中可见，如果定位到就返回列表'''

WebDriverWait(driver,10).until(EC.text_to_be_present_in_element((By.XPATH,'//*[@id="s-usersetting-top"]'),u'设置'))
'''判断指定的元素中是否包含了预期的字符串，返回布尔值'''

WebDriverWait(driver,10).until(EC.text_to_be_present_in_element_value((By.CSS_SELECTOR,'#su'),u'百度一下'))
'''判断指定元素的属性值中是否包含了预期的字符串，返回布尔值'''

WebDriverWait(driver,10).until(EC.frame_to_be_available_and_switch_to_it((By.ID,'kw')))
'''判断该frame是否可以switch进去，如果可以的话，返回True并且switch进去，否则返回False'''
#注意这里并没有一个frame可以切换进去

WebDriverWait(driver,10).until(EC.invisibility_of_element_located((By.CSS_SELECTOR,'#swfEveryCookieWrap')))
'''判断某个元素在是否存在于dom或不可见,如果可见返回True,不可见返回这个元素'''
#注意#swfEveryCookieWrap在此页面中是一个隐藏的元素

WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,"//*[@id='u1']/a[8]"))).click()
'''判断某个元素中是否可见并且是enable的，代表可点击'''

driver.find_element_by_xpath("//*[@id='wrapper']/div[6]/a[1]")
#WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,"//*[@id='wrapper']/div[6]/a[1]"))).click()

#WebDriverWait(driver,10).until(EC.staleness_of(driver.find_element(By.ID,'su')))
'''等待某个元素从dom树中移除'''
#这里没有找到合适的例子

WebDriverWait(driver,10).until(EC.element_to_be_selected(driver.find_element(By.XPATH,"//*[@id='nr']/option[1]")))
'''判断某个元素是否被选中了,一般用在下拉列表'''

WebDriverWait(driver,10).until(EC.element_selection_state_to_be(driver.find_element(By.XPATH,"//*[@id='nr']/option[1]"),True))
'''判断某个元素的选中状态是否符合预期'''

WebDriverWait(driver,10).until(EC.element_located_selection_state_to_be((By.XPATH,"//*[@id='nr']/option[1]"),True))
'''判断某个元素的选中状态是否符合预期'''
driver.find_element_by_xpath(".//*[@id='gxszButton']/a[1]").click()

instance = WebDriverWait(driver,10).until(EC.alert_is_present())
'''判断页面上是否存在alert,如果有就切换到alert并返回alert的内容'''
print(instance.text)
instance.accept()
driver.close()

实战案例：模拟登录163

import time

from selenium import webdriver
from selenium.webdriver.common.by import By


"""
使用selenium进行模拟登陆
1.初始化ChromDriver
2.打开163登陆页面
3.找到用户名的输入框，输入用户名
4.找到密码框，输入密码
5.提交用户信息
"""
name = '*'
passwd = '*'
driver = webdriver.Chrome('../chromedriver.exe')
driver.get('https://mail.163.com/')
# 将窗口调整最大
driver.maximize_window()
# 休息5s
time.sleep(5)
# driver.current_window_handle 获取当前窗口handle
# driver.window_handles 获取所有窗口的handle，返回list列表
# driver.switch_to.window(handle) 切换到对应的窗口
current_window_1 = driver.current_window_handle
print(current_window_1)

# 默认是手机扫码登录，我们需要切换到密码登录
button = driver.find_element_by_id('lbNormal')
button.click()

# 切换到表单
# 有时候定位不到页面元素往往是因为frame，需要切到对应的frame才能定位到
# driver.switch_to.default_content()是切换回主文档
driver.switch_to.frame(driver.find_element_by_xpath("//iframe[starts-with(@id, 'x-URS-iframe')]"))

# 输入邮箱和密码
email = driver.find_element_by_name('email')
#email = driver.find_element_by_xpath('//input[@name="email"]')
email.send_keys(name)
password = driver.find_element_by_name('password')
#password = driver.find_element_by_xpath("//input[@name='password']")
password.send_keys(passwd)
# 点击登录
submit = driver.find_element_by_id("dologin")
time.sleep(15)
submit.click()
time.sleep(10)
# 获取页面源码
print(driver.page_source)
driver.quit()

Q: 如何用一句通俗的语言解释清楚request、beautifulsoup和selenium三者与浏览器之间的关系？

A:

BeautifulSoup：处理速度快，同时可以连续查找，主要用于静态网页。经过BeautifulSoup处理以后，编码方式都变成了Unicode,需要将其变成所需的编码方式：可以利用encode(‘需要的编码’)，还可以利用 BeautifulSoup(网页/html, lxml/xml”).prettify(‘需要的编码’) 可以利用soup.original_encoding检测原来的编码。

Selenium：主要用于动态网页，查找速度慢

小项目

1. 挑战项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容。
2. 丁香园论坛：http://www.dxy.cn/bbs/thread/626626#626626 。

import requests, json, re, random,time
from bs4 import BeautifulSoup
from selenium import webdriver
from lxml import etree

首先讲讲我的方法

配置好参数，打开浏览器

url = "http://www.dxy.cn/bbs/thread/626626#626626"
username = '你的用户名'
password = '你的密码'
driver = webdriver.Chrome('../chromedriver.exe')
driver.get(url)

点击登录按钮

time.sleep(5)
# 点击“登录”的两种方式
# driver.find_element_by_class_name('activate-info-tip-btn').click()
driver.find_element_by_link_text('登录').click()

选择电脑登录

time.sleep(5)
# 点击“电脑登录”
# driver.find_element_by_class_name('ico_pc').click()
driver.find_element_by_xpath('//a/i[@class="wechat__ico ico_pc"]').click()

输入账号密码登录

time.sleep(5)
# 输入账号
element = driver.find_element_by_name('username')
element.clear()
element.send_keys(username)
time.sleep(5)
# 输入密码
element = driver.find_element_by_name('password')
element.clear()
element.send_keys(password)
time.sleep(5)
# 点击“登录按钮”
driver.find_element_by_class_name('button').click()
# 登录后需要点击文字验证，手动操作。。。
time.sleep(10)

获取需要的信息方法一，使用xpath定位：

auth = driver.find_elements_by_class_name('auth')  # 昵称
level = driver.find_elements_by_xpath('//div[@class="info clearfix"]') # 等级
user_atten1 = driver.find_elements_by_xpath('//div[@class="user_atten"]/ul/li[1]')  # 用户属性1
user_atten2 = driver.find_elements_by_xpath('//div[@class="user_atten"]/ul/li[2]')  # 用户属性2
user_atten3 = driver.find_elements_by_xpath('//div[@class="user_atten"]/ul/li[3]')  # 用户属性3
content = driver.find_elements_by_class_name('postbody')   # 内容
print(len(auth), len(level), len(user_atten1), len(user_atten2), len(user_atten3), len(content))
for i in range(len(content)):
    data = str({'num':i+1,'name':auth[i].text,'level':level[i].text,'score':user_atten1[i].text,'vote':user_atten2[i].text,'dingdang':user_atten3[i].text,'content':content[i].text.replace(" ", "").replace("n", "")}) +"n" 
    print(data)

输出结果：

发现有换行符没有去掉

方法二使用class name定位

auth = driver.find_elements_by_class_name('auth')  # 昵称
level = driver.find_elements_by_class_name('info') # 等级
user_atten = driver.find_elements_by_class_name('user_atten')  # 用户属性
content = driver.find_elements_by_class_name('postbody')   # 内容
sfile = open('data.txt','a',encoding='utf-8')
print(len(auth), len(level), len(user_atten), len(content))
for i in range(len(content)):
    num = user_atten[i].find_elements_by_tag_name('a')
    data = str({'num':i+1,'name':auth[i].text,'level':level[i].text,'score':num[0].text,'vote':num[2].text,'dingdang':num[4].text,'content':content[i].text.replace(" ", "").replace("n", "")}) +"n" 
    print(data)
    sfile.writelines(data)
print("success write")
sfile.close()

还有另一种方法，基础流程差不多，但利用了js的知识切换登录界面，获取数据时也是先将页面转成html，在利用xpath提取。

class 

参考资料

[1]学习资料：

https://github.com/datawhalechina/team-learning/tree/master/Python爬虫编程实践

[2]用python操作浏览器的三种方式：

https://blog.csdn.net/chengxuyuanyonghu/article/details/79154468

[3]python selenium2 中的显示等待WebDriverWait与条件判断expected_conditions举例

https://www.cnblogs.com/yuuwee/p/6635652.html

[4]模拟登录丁香园

https://blog.csdn.net/devcy/article/details/89290823

https://blog.csdn.net/weixin_44615857/article/details/89289150

欢迎关注我的公众号~

http://weixin.qq.com/r/Vy0fB-XEw6i8rbFk93hF (二维码自动识别)