Python爬虫编程6——selenium

目录

爬虫和反爬虫的斗争

爬虫建议

ajax基本介绍

动态了解HTML技术

获取ajax数据的方式

一.Selenium+chromedriver

Selenium介绍

Phantomjs快速入门

Phantomjs案例

selenium快速入门

定位元素

操作表单数据

鼠标行为链

Selenium页面等待

Cookie操作

页面等待

打开多窗口和切换页面

特征识别和设置无头窗口

selenium常用的js操作

二.图形验证码识别

Tesseract安装以及操作

云打码平台的使用

---

爬虫和反爬虫的斗争

爬虫建议

（1）尽量减少请求次数，保存或取的HTML，供查错和重复使用；

（2）关注网站的所有类型的页面，H5页面，APP等等；

（3）设置多伪装，代理IP，随即请求头等；

（4）利用多线程分布式，再不被发现的情况下我们尽可能提高速度。

ajax基本介绍

动态了解HTML技术

（1）JS：是网络上最常用的脚本语言，它可以收集用户的跟踪数据，不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页；

（2）jQuery：jQuery是一个快速，简介的JavaScript框架，封装了JavaScript常用的功能代码；

（3）ajax：ajax可以使用网页实现异步更新，可以在不重新加载整个页面的情况下，对页面的某部分进行更新。

获取ajax数据的方式

（1）直接分析ajax调用的接口。然后通过代码请求这个接口；

（2）使用Selenium+chromedriver模拟浏览器行为获取数据；

一.Selenium+chromedriver

Selenium介绍

1.selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接受指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。

2.chromedriver是一个驱动Chorme浏览器的驱动程序，使用它才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：

（1）Chrome：https://sites.google.com/a/chromium.org/chromedriver/downloads

（2）Firefox：Releases · mozilla/geckodriver · GitHub

（3）Edge：Microsoft Edge Driver - Microsoft Edge Developer

（4）Safari：WebDriver Support in Safari 10 | WebKit

• 下载chromedriver
• 百度搜索：淘宝镜像(npmmirror 中国镜像站)

• 安装总结：Selenium 入门教程（Python） - 简书
• 安装Selenium：pip install selenium

• 新的chromedriver 第地址 http://chromedriver.storage.googleapis.com/index.html

Phantomjs快速入门

无头浏览器：一个完整的浏览器内核，包含js解析引擎，渲染引擎，请求处理等，但是不包含显示和用户的页面的浏览器。

Phantomjs案例

# 1.加载网页
from selenium import webdriver
driver = webdriver.PhantomJS("安装目录")
driver.get("https://www.baidu.com")
driver.save_screenshot("baidu.png")

# 2.定位和操作
driver.find_element_by_id("kw").send_keys("长城")
driver.find_element_by_id("su").click()

# 3.查看请求信息
driver.page_source
driver.get_cookies()
driver.current_url

# 4.退出
driver.quit() 

注意：在新版的selenium中没有Phantomjs，所以这里不做更多的解释。

selenium快速入门

from selenium import webdriver

# 实例化浏览器
driver = webdriver.Chrome()

# 发送请求
driver.get('https://www.baidu.com')

# 退出浏览器
driver.quit()

定位元素

（1）find_element_by_id：根据id查找某个元素：

submitTag = driver.find_element_by_id('su')
submitTag1 = driver.find_element(By.ID,'su')

（2）find_element_by_class_name：根据类名查找某个元素：

submitTag = driver.find_element_by_class_name('su')
submitTag1 = driver.find_element(By.CLASS_NAME,'su')

（3）find_element_by_name：根据name属性值查找某个元素：

submitTag = driver.find_element_by_name('email')
submitTag1 = driver.find_element(By.NAME,'email')

（4）find_element_by_tag_name：根据标签名查找某个元素：

submitTag = driver.find_element_by_tag_name('div')
submitTag1 = driver.find_element(By.TAG_NAME,'div')

（5）find_element_by_xpath：根据xpath语法查找某个元素：

submitTag = driver.find_element_by_xpath('//div')
submitTag1 = driver.find_element(By.XPATH,'//div')

注意使用上述的小by方法定位元素时，会有一个报警，这是因为这个方法即将过时，而大By方法，则不会出现报警，但是要导包：

from selenium.webdriver.common.by import By

且注意，find_element是获取第一个满足条件的元素。find_elements是获取所有满足条件的元素。

操作表单数据

操作输入框：分为两步。

第一步：找到这个元素。

第二步：使用send_keys（values），将数据填充进去。

（1）使用clear方法可以清除输入框中的内容

inputTag.clear()

（2）操作按钮

操作按钮有很多种方式，比如单击，右击，双击等。这里讲两个最常用的。就是点击，直接调用click函数就可以了。

inputTag = driver.find_element_by_id('su')
# 点击函数
inputTag.click()

（3）选择select

select元素不能直接点击。因为点击后还需要选中元素。这时候selenium就专门为select标签提供了一个类from selenium.webdriver.support.ui import Select。将获取到的元素当成参数传到这个类中，创建这个对象。以后就可以使用这个对象进行选择了。（注意有时要切换到一个新的标签iframe中）

测试网站：https://www.17sucai.com/pins/demo-show?id=5926

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
import time


driver = webdriver.Chrome()
driver.get('https://www.17sucai.com/pins/demo-show?id=5926')

# 找到iframe
iframe_tag = driver.find_element_by_id('iframe')
# 切换到iframe
# 旧方法
# driver.switch_to_frame(iframe_tag)
# 新方法
driver.switch_to.frame(iframe_tag)

# 定位到select标签
# Message: no such element: Unable to locate element: {"method":"css selector","selector":".nojs"}
select_tag = driver.find_element_by_class_name('nojs')

new_select_tag = Select(select_tag)

# 根据值来选择
# new_select_tag.select_by_value('AU')

# 根据索引选择
new_select_tag.select_by_index(1)
"""
两种选择方式
一种是根据值来选择
另一种是通过索引选择
"""

鼠标行为链

有时候在页面中的操作可能要有很多步，那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。

import time
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://www.baidu.com/?tn=49055317_3_hao_pg')

# 定位输入框
input_baidu = driver.find_element(By.XPATH, '//*[@id="kw"]')

# 定位百度按钮
btn_baidu = driver.find_element(By.XPATH, '//*[@id="su"]')

actions = ActionChains(driver)

# 往输入框种输入内容
actions.send_keys_to_element(input_baidu, 'python')
time.sleep(2)
# 移动鼠标位置
actions.move_to_element(btn_baidu)
actions.click()


# 提交行为链，必不可少
actions.perform()

还有更多的鼠标相关的操作

• click_and_hold(element)：点击但不松开鼠标。
• context_click(element)：右键点击。

• double_click(element)：双击。
• 更多方法请参考：7. WebDriver API — Selenium Python Bindings 2 documentation

行为链小练习：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time

# 1 找到滑块
# 2 拖动小滑块
# 3 到大滑块松开鼠标

driver = webdriver.Chrome()

driver.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

ifarme = driver.find_element(By.ID,'iframeResult')

driver.switch_to.frame(ifarme)

# 小滑块
div1 = driver.find_element(By.ID,'draggable')

# 大滑块
div2 = driver.find_element(By.ID,'droppable')

# 创建行为链
ac = ActionChains(driver)

# 点击并且不松开
ac.click_and_hold(div1)

# 拖动到大的div
# ac.move_to_element(div2)

# ac.move_by_offset(300,0)
for i in range(6):
    time.sleep(0.1)
    ac.move_by_offset(50, 0)

# 松开鼠标
ac.release()

# 提交行为链
ac.perform()

测试网站：https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable

Selenium页面等待

Cookie操作

（1）获取所有的cookie

cookies = driver.get_cookies()

（2）根据cookie的name获取cookie

value = driver.get_cookie(name)

（3）删除某个cookie

driver.delete_cookie('key')

案例：利用selenium得到的cookie登录qq空间：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import requests

# 通过selenium获取cookie
"""
1 通过selenium获取cookie值
2 进一步解析拼接cookie值
3 把最终拼接好的cookie值放测试代码中做测试
"""
# 1 通过selenium获取cookie值
# 加载驱动
driver = webdriver.Chrome()
# 打开一个网站
driver.get('https://xui.ptlogin2.qq.com/cgi-bin/xlogin?proxy_url=https%3A//qzs.qq.com/qzone/v6/portal/proxy.html&daid=5&&hide_title_bar=1&low_login=0&qlogin_auto_login=1&no_verifyimg=1&link_target=blank&appid=549000912&style=22&target=self&s_url=https%3A%2F%2Fqzs.qzone.qq.com%2Fqzone%2Fv5%2Floginsucc.html%3Fpara%3Dizone&pt_qr_app=手机QQ空间&pt_qr_link=http%3A//z.qzone.com/download.html&self_regurl=https%3A//qzs.qq.com/qzone/v6/reg/index.html&pt_qr_help_link=http%3A//z.qzone.com/download.html&pt_no_auth=0')

time.sleep(2)

# 找到头像
# link = driver.find_element_by_id('img_out_2857223830')
link = driver.find_element_by_class_name('face')
# 点击
link.click()
# 等待页面加载一会儿
time.sleep(2)
raw_cookie = driver.get_cookies()
# print(raw_cookie)
# 列表推导式
cookie = [item['name'] + '=' + item['value'] for item in raw_cookie]
# cookie_plus = "; ".join(cookie)
cookie_plus = "; ".join(i for i in cookie)
print(cookie_plus)

# cookie = []
# for i in raw_cookie:
#     n = i['name']
#     v = i['value']
#     # n=v
#     lst = n + '=' + v
#     cookie.append(lst)
# # print(cookie)
# cookie_plus = "; ".join(cookie)
# print(cookie_plus)




# 测试代码 如果把通过selenium获取到的cookie放进请求头中 能够模拟登录成功 就证明我们通过selenium获取到的cookie是没有问题的
# url = 'https://user.qzone.qq.com/2857223830/infocenter'
#
# header = {
#     'cookie': cookie_plus,
#     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
# }
#
# html = requests.get(url, headers=header)
# with open('qzone.html', 'w', encoding='utf-8') as f:
#     f.write(html.content.decode('utf-8'))

页面等待

现在的网页越来越多采用了 Ajax 技术，这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来，但是你的代码直接使用了这个WebElement，那么就会抛出NullPointer的异常。为了解决这个问题。所以 Selenium 提供了两种等待方式：一种是隐式等待、一种是显式等待。

（1）隐式等待：调用driver.implicitly_wait。那么在获取不可用的元素之前，会先等待10秒中的时间。

driver.implicitly_wait(10)

（2）显式等待：显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间，如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.baidu.com/")

element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
 )

一些其他的等待条件

• presence_of_element_located：某个元素已经加载完毕了。
• presence_of_all_elements_located：网页中所有满足条件的元素都加载完毕了。

• element_to_be_clickable：某个元素是可以点击了。
• 更多条件请参考：5. Waits — Selenium Python Bindings 2 documentationhttp://selenium-python.readthedocs.io/waits.html

打开多窗口和切换页面

有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to_window来进行切换，具体切换到哪个页面，可以从driver.window_handles中找到。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()
driver.get('https://www.baidu.com/?tn=49055317_3_hao_pg')
driver.implicitly_wait(3)
# driver.get('https://www.douban.com/?tn=49055317_3_hao_pg')
# 用js打开多个窗口
driver.execute_script('window.open("https://www.douban.com/?tn=49055317_3_hao_pg")')
time.sleep(2)
# 打开一个新窗口，如果想对新窗口进行操作，就要先切换selenium的视角
driver.switch_to.window(driver.window_handles[1])
# 打印当前视角的url
print(driver.current_url)
driver.close()     # 使用close关闭之后，最好切换一下窗口，有残留。最好不要使用

特征识别和设置无头窗口

（1）设置无头窗口（运行时不会在打开浏览器）

from selenium import webdriver

# 创建一个设置对象
option = webdriver.ChromeOptions()
option.add_argument('--headless')

driver = webdriver.Chrome(options=option)

driver.get('https://www.baidu.com')

driver.save_screenshot('baidu.png')

（2）特征识别

有时候我们在使用selenium爬取某网站时，会被网站识别成一个自动化测试的程序，从而会导致我们得不到想要的数据，我们这时需要去除一下特征识别：

from selenium import webdriver
import time
from selenium.webdriver.common.by import By


# 去除识别 去除提示框
# option = webdriver.ChromeOptions()
# option.add_experimental_option('excludeSwitches', ['enable-automation'])
# option.add_experimental_option("detach", True)
#

# driver = webdriver.Chrome(options=option)
#
# driver.get('https://www.baidu.com')

# selenium打开的浏览器navigator.webdriver属性为true

# 把navigator.webdriver属性改为false
# script = 'Object.defineProperty(navigator, "webdriver", {get: () => false,});'
# driver.execute_script(script)

option = webdriver.ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option("detach", True)

driver = webdriver.Chrome(options=option)

driver.get('http://www.porters.vip/features/webdriver.html')

driver.execute_script('Object.defineProperty(navigator, "webdriver", {get: () => false,});')

driver.find_element(By.XPATH,'//button[@class="btn btn-primary btn-lg"]').click()

selenium常用的js操作

(94条消息) selenium中常用的js操作_weixin_46583017的博客-CSDN博客https://blog.csdn.net/weixin_46583017/article/details/113738948?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164515283116780269839445%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164515283116780269839445&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-1-113738948.first_rank_v2_pc_rank_v29&utm_term=selenium%E7%9A%84js%E6%93%8D%E4%BD%9C&spm=1018.2226.3001.4187

二.图形验证码识别

Tesseract安装以及操作

阻碍我们爬虫的。有时候正是在登录或者请求一些数据时候的图形验证码。因此这里我们讲解一种能将图片翻译成文字的技术。将图片翻译成文字一般被称为光学文字识别（Optical Character Recognition），简写为OCR。实现OCR的库不是很多，特别是开源的。因为这块存在一定的技术壁垒（需要大量的数据、算法、机器学习、深度学习知识等），并且如果做好了具有很高的商业价值。因此开源的比较少。这里介绍一个比较优秀的图像识别开源库：Tesseract。

• Tesseract是一个将图像翻译成文字的OCR(光学文字识别,Optical Character Recognition),目前由谷歌赞助。Tesseract是目前公认最优秀、最准确的开源OCR库。Tesseract具有很高的识别度，也具有很高的灵活性，他可以通过训练识别任何字体
• Windows系统安装 在以下链接下载可执行文件,https://github.com/tesseract-ocr/

在python中安装：pip install pytesseract

设置环境变量：

安装完成后，如果想要在命令行中使用Tesseract，那么应该设置环境变量。Mac和Linux在安装的时候就默认已经设置好了。在Windows下把tesseract.exe所在的路径添加到PATH环境变量中。

识别中文图像,需要下载语言安装包：

URL地址：https://github.com/tesseract-ocr/tessdat

# 命令行使用
#   tesseract --help 查看帮助
#   tesseract --list-langs 查看可识别的语言
#   tesseract 图片名称 返回的文件名 识别前需要先cd到图片的目录
#   tesseract 图片名称 返回的文件名 -l 需要识别的语言

在python中使用：

# 在python中使用tesseract识别图片 需要下载两个库
#   1 pip install pytesseract 用来操作 tesseract
#   2 pip install pillow 用于处理图片

# 导包
#   1 import pytesseract
#   2 from PIL import Image

import pytesseract
from PIL import Image
import urllib.request

# 打开图片
aaa = Image.open('aaa.png')

# 把图片识别成文字
result_aaa = pytesseract.image_to_string(aaa)

print(result_aaa)

bbb = Image.open('bbb.png')

# image_to_string(bbb,lang='chi_sim') 设置识别的语言 chi_sim(简体中文)
result_bbb = pytesseract.image_to_string(bbb,lang='chi_sim')

print(result_bbb)


# 验证码网址
url = 'https://passport.lagou.com/vcode/create?from=register&refresh=1513081451891'

# 保存图片 urllib.request.urlretrieve(网址,'图片名称')
# urllib.request.urlretrieve(url,'ccc.png')

ccc = Image.open('ccc.png')

result_ccc = pytesseract.image_to_string(ccc)

print(result_ccc)

云打码平台的使用

由于tesseract对于一些高级的验证并无法做到准确，所以我们可以使用在线打码平台，这里推荐一个打码平台：超级鹰。网址：超级鹰验证码识别-专业的验证码云端识别服务,让验证码识别更快速、更准确、更强大 (chaojiying.com)https://www.chaojiying.com/

在超级鹰里面可以选择下载python的使用文档说明：

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
	chaojiying = Chaojiying_Client('用户名', '密码', '手动生成的软件id')	#用户中心>>软件ID 生成一个替换 96001
	# 打开图片
	im = open('ccc.png', 'rb').read()
    # print(chaojiying.PostPic(图片, 识别验证码的类型))
	print(chaojiying.PostPic(im, 1902))											#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()

这里我们在使用的时候，直接调用即可使用方式如下：

注意我们不需要额外在下载其他的库，直接导入chaojiying这个包即可，有的时候导入包的时候会报错，不必理会，没有影响，只要我们将用户名，密码，id输入正确即可。

# 不影响使用
from chaojiying import Chaojiying_Client

# Chaojiying_Client('用户名', '用户密码', '手动生成的软件id') 创建对象
chaojiying = Chaojiying_Client('用户名', '密码', '手动生成的软件id')

# 打开图片
im = open('ddd.png', 'rb').read()
# print(chaojiying.PostPic(图片, 识别验证码的类型))

# chaojiying.PostPic(图片, 类型)
print(chaojiying.PostPic(im, 9004))