python3编写网络爬虫17-验证码识别

一、验证码识别

1.图形验证码的识别

识别图形验证码需要 tesserocr 库 OCR技术识别（光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。）
例如 中国知网注册页面 http://my.cnki.net/elibregister/commonRegister.aspx
tesserocr是Python的一个OCR识别库，但其实是对tesseract做的一层Python API封装，所以它的核心是tesseract
所以在安装tesserocr之前要先安装tesseract

下载地址：

https://digi.bib.uni-mannheim.de/tesseract/

 

其中带dev的为开发版本 不带dev的为稳定版本 下载好后双击安装
勾选 additional language data 支持语言包

安装tesserocr

pip install tesserocr pillow

 

如果报错，查看pip支持版本 python命令行下

import pip
import pip._internal
print(pip._internal.pep425tags.get_supported())

 

去如下网址下载对应版本 进行安装即可

https://github.com/simonflueckiger/tesserocr-windows_build/releases

 

测试成功 import tesserocr 不报错表示成功

pip install pillow 测试import PIL

1.1 识别测试

下载到本地一张验证码后 更改其名字为 code.jpg 放在python代码根目录

代码如下：

#识别code.jpg 图片验证码

import tesserocr
from PIL import Image

image = Image.open('code.jpg') #新建image对象
result = tesserocr.image_to_text(image)#调用imgae_to_text方法 传入image对象
print(result)

 

另外tesserocr 还有一个更加简单的方法，这个方法可以直接将图片转化为字符串
示例:

import tesserocr
print(tesserocr.file_to_text('code.jpg')) #不过此种方法识别效果不如上一种方法好

1.2 验证码处理

重新下载一张图片命名为code1.jpg 重新用以上代码进行测试
可以看到如果图片当中多余的线条干扰会影响图片识别的准确度

对于这种情况我们还要进行进一步的处理 例如 转灰度 二值化等。
可以利用Image对象的 convert()方法传入参数 L 即可将图片转化为灰度图像
示例：

image = image.convert('L')
image.show()

 

传入参数1 即可将图片二值化处理

image = image.convert('1')
image.show()

 

但是此种方法默认阀值是127
并且不能直接转换原图 要先将原图转为灰度图像，然后再指定二值化阀值
示例：

image = image.convert('L')
threshold = 80#二值化阀值
table = []
for i in range(256):
if i < threshold:
table.append(0)
else:
table.append(1)
image = image.point(table,'1')
image.show()

 

发现验证码中的线条已经去除 验证码黑白分明 再重新识别验证码

示例：

import tesserocr
from PIL import Image

image = Image.open('code1.jpg')

image = image.convert('L')
threshold = 127
table = []
for i in range(256):
if i < threshold:
table.append(0)
else:
table.append(1)

image = image.point(table, '1')
image.show()

result = tesserocr.image_to_text(image)
print(result)

 

如果针对一些有干扰的图片，我们可以选择做一些灰度和二值化处理 达到提高图片识别的正确率

2. 极验滑动验证码的识别

上面我们说可以利用 tesserocr 来识别简单的图形验证码 但是近几年出现了一些新型验证码
其中比较有代表性的就是极验验证码 它需要拖动拼合滑块才可以完成验证，相对于图形验证码来说
识别难度上升了几个等级 例如 魅族 斗鱼

确保本机安装好了selenium 浏览器为Chrome 并配置ChromeDriver

极验验证码官网 http://www.geetest.com/ 它是一个专注于提供验证安全的系统 主要验证方式是拖动滑块拼合图像
如果图像完全拼合 则验证成功

2.1 极验验证码特点

极验验证码相比图片验证码识别难度更大，对于极验3.0版本 首先要点击按钮进行智能验证，如果验证不通过，则会弹出滑动验证窗口
拖动滑动拼合图像进行验证，之后三个加密参数会生成，通过表单提交到后台，后台还会进行一次验证。

极验验证码还增加了机器学习的方法来识别拖动轨迹 官方网站的安全防护有如下几点说明：

1. 三角防护之防模拟。恶意程序模仿人类行为轨迹对验证码进行识别，针对模拟 极验验证码拥有4000万人机行为样本的海量数据
利用机器学习和神经网络构建线上线下多重静态 动态防御模型 识别模拟轨迹，界定人机边界。

2. 三角防护之防伪造。恶意程序通过伪造设备浏览器环境对验证码进行识别，针对伪造 极验验证码利用设备基因技术，深度分析
浏览器的实际性能来识别伪造信息，同时根据伪造时间不断更新黑名单，大幅度提高防伪造能力。

3. 三角防护之防暴力。 恶意程序短时间内进行密集攻击，对验证码进行暴力识别，针对暴力识别 极验验证码拥有多种验证形态，
每一种验证形态都利用神经网络生成海量图库储备，每一张图片都是独一无二的，且图库不断更新，极大程度提高了暴力识别的成本。

另外 相比普通验证方式 极验更加方便 体验更加友好：

1. 点击验证只需0.4秒

2. 全平台兼容

3. 面向未来
相比一般验证码 极验验证码的安全性和易用性有了非常大的提高。

2.2 识别思路

对于应用了极验验证码的网站，如果直接模拟表单提交 加密参数的构造是个问题 需要分析它加密和校验逻辑 相对繁琐
所以采用直接模拟浏览器动作的方式来完成验证 此验证成本相比直接去识别加密算法少很多

示例： 中国保温网 

http://www.cnbaowen.net/api/geetest/

识别验证只需要完成如下三步：
1.模拟点击验证按钮
2.识别滑动缺口的位置
3.模拟拖动滑块

第一步相对简单 可以直接用selenium 模拟点击操作
第二步识别缺口位置比较关键 需要用到图像相关的处理方法 首先观察缺口的样子 缺口四周边缘有明显的断裂边缘 边缘和边缘周围有明显的区别
可以实现一个边缘检测算法找出缺口的位置。
第三步看似简单 其中的坑比较多 极验验证码增加了机器轨迹识别，匀速移动 随机速度移动等方法都不能通过验证，只有完全模拟人的移动轨迹才可以通过验证
人的移动轨迹一般是先加速后减速 需要模拟这个过程才能通过验证。

2.3 代码实现

初始化 测试链接

 http://www.cnbaowen.net/api/geetest/

 

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait # 等待元素加载的
from selenium.webdriver.common.action_chains import ActionChains #拖拽
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException
from selenium.webdriver.common.by import By
from PIL import Image
import requests
import time
import re
import random
from io import BytesIO


def merge_image(image_file,location_list):
　　"""
　　　　拼接图片
　　　　:param image_file:
　　　　:param location_list:
　　　　:return:
　　"""
　　im = Image.open(image_file)
　　im.save('Code.jpg')
　　new_im = Image.new('RGB',(260,116))
　　# 把无序的图片 切成52张小图片
　　im_list_upper = []
　　im_list_down = []
　　# print(location_list)
　　for location in location_list:
　　　　# print(location['y'])
　　　　if location['y'] == -58: # 上半边
　　　　　　im_list_upper.append(im.crop((abs(location['x']),58,abs(location['x'])+10,116)))
　　　　if location['y'] == 0: # 下半边
　　　　　　im_list_down.append(im.crop((abs(location['x']),0,abs(location['x'])+10,58)))

　　x_offset = 0
　　for im in im_list_upper:
　　　　new_im.paste(im,(x_offset,0)) # 把小图片放到 新的空白图片上
　　　　x_offset += im.size[0]

　　x_offset = 0
　　for im in im_list_down:
　　　　new_im.paste(im,(x_offset,58))
　　　　x_offset += im.size[0]
　　　　new_im.show()
　　return new_im

def get_image(driver,div_path):
　　'''
　　　　下载无序的图片 然后进行拼接 获得完整的图片
　　　　:param driver:
　　　　:param div_path:
　　　　:return:
　　'''
　　time.sleep(2)
　　background_images = driver.find_elements_by_xpath(div_path)
　　location_list = []
　　for background_image in background_images:
　　　　location = {}
　　　　result = re.findall('background-image: url\("(.*?)"\); background-position: (.*?)px (.*?)px;',background_image.get_attribute('style'))
　　　　# print(result)
　　　　location['x'] = int(result[0][1])
　　　　location['y'] = int(result[0][2])

　　　　image_url = result[0][0]
　　　　location_list.append(location)

　　print('==================================')
　　image_url = image_url.replace('webp','jpg')
　　# '替换url http://static.geetest.com/pictures/gt/579066de6/579066de6.webp'
　　image_result = requests.get(image_url).content
　　# with open('1.jpg','wb') as f:
　　# f.write(image_result)
　　image_file = BytesIO(image_result) # 是一张无序的图片
　　image = merge_image(image_file,location_list)

　　return image

def get_track(distance):
　　'''
　　　　拿到移动轨迹，模仿人的滑动行为，先匀加速后匀减速
　　　　匀变速运动基本公式：
　　　　①v=v0+at
　　　　②s=v0t+(1/2)at²
　　　　③v²-v0²=2as

　　　　:param distance: 需要移动的距离
　　　　:return: 存放每0.2秒移动的距离
　　'''
　　# 初速度
　　v=0
　　# 单位时间为0.2s来统计轨迹，轨迹即0.2内的位移
　　t=0.2
　　# 位移/轨迹列表，列表内的一个元素代表0.2s的位移
　　tracks=[]
　　# 当前的位移
　　current=0
　　# 到达mid值开始减速
　　mid=distance * 7/8

　　distance += 10 # 先滑过一点，最后再反着滑动回来
　　# a = random.randint(1,3)
　　while current < distance:
　　　　if current < mid:
　　　　　　# 加速度越小，单位时间的位移越小,模拟的轨迹就越多越详细
　　　　　　a = random.randint(2,4) # 加速运动
　　　　else:
　　　　　　a = -random.randint(3,5) # 减速运动

　　　　# 初速度
　　　　v0 = v
　　　　# 0.2秒时间内的位移
　　　　s = v0*t+0.5*a*(t**2)
　　　　# 当前的位置
　　　　current += s
　　　　# 添加到轨迹列表
　　　　tracks.append(round(s))

　　　　# 速度已经达到v,该速度作为下次的初速度
　　　　v= v0+a*t

　　　　# 反着滑动到大概准确位置
　　for i in range(4):
　　　　tracks.append(-random.randint(2,3))
　　for i in range(4):
　　　　tracks.append(-random.randint(1,3))
　　return tracks


def get_distance(image1,image2):
　　'''
　　　　拿到滑动验证码需要移动的距离
　　　　:param image1:没有缺口的图片对象
　　　　:param image2:带缺口的图片对象
　　　　:return:需要移动的距离
　　'''
　　# print('size', image1.size)

　　threshold = 60
　　for i in range(0,image1.size[0]): # 260
　　　　for j in range(0,image1.size[1]): # 160
　　　　　　pixel1 = image1.getpixel((i,j))
　　　　　　pixel2 = image2.getpixel((i,j))
　　　　　　res_R = abs(pixel1[0]-pixel2[0]) # 计算RGB差
　　　　　　res_G = abs(pixel1[1] - pixel2[1]) # 计算RGB差
　　　　　　res_B = abs(pixel1[2] - pixel2[2]) # 计算RGB差
　　　　　　if res_R > threshold and res_G > threshold and res_B > threshold:
　　　　　　　　return i # 需要移动的距离

 

def main_check_code(driver, element):
　　"""
　　　　拖动识别验证码
　　　　:param driver:
　　　　:param element:
　　　　:return:
　　"""
　　image1 = get_image(driver, '//div[@class="gt_cut_bg gt_show"]/div')
　　image2 = get_image(driver, '//div[@class="gt_cut_fullbg gt_show"]/div')
　　# 图片上 缺口的位置的x坐标
　　
　　# 2 对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离
　　l = get_distance(image1, image2)
　　print('l=',l)
　　# 3 获得移动轨迹
　　track_list = get_track(l)
　　print('第一步,点击滑动按钮')
　　ActionChains(driver).click_and_hold(on_element=element).perform() # 点击鼠标左键，按住不放
　　time.sleep(2)
　　print('第二步,拖动元素')
　　for track in track_list:
　　　　ActionChains(driver).move_by_offset(xoffset=track, yoffset=0).perform() # 鼠标移动到距离当前位置（x,y）
　　　　time.sleep(0.002)

　　ActionChains(driver).move_by_offset(xoffset=-random.randint(2,5), yoffset=0).perform()
　　time.sleep(2)
　　print('第三步,释放鼠标')
　　ActionChains(driver).release(on_element=element).perform()
　　time.sleep(5)


def main_check_slider(driver):
　　"""
　　　　检查滑动按钮是否加载
　　　　:param driver:
　　　　:return:
　　"""
　　while True:
　　　　try :
　　　　　　driver.get('http://www.cnbaowen.net/api/geetest/')
　　　　　　element = WebDriverWait(driver, 30, 0.5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'gt_slider_knob')))
　　　　　　if element:
　　　　　　　　return element
　　　　except TimeoutException as e:
　　　　　　print('超时错误，继续')
　　　　　　time.sleep(5)


if __name__ == '__main__':
　　try:
　　　　count = 6 # 最多识别6次
　　　　driver = webdriver.Chrome()
　　　　# 等待滑动按钮加载完成
　　　　element = main_check_slider(driver)
　　　　while count > 0:
　　　　　　main_check_code(driver,element)
　　　　　　time.sleep(2)
　　　　　　try:
　　　　　　　　success_element = (By.CSS_SELECTOR, '.gt_holder .gt_ajax_tip.gt_success')
　　　　　　　　# 得到成功标志
　　　　　　　　print('suc=',driver.find_element_by_css_selector('.gt_holder .gt_ajax_tip.gt_success'))
　　　　　　　　success_images = WebDriverWait(driver, 20).until(EC.presence_of_element_located(success_element))
　　　　　　　　if success_images:
　　　　　　　　　　print('成功识别')
　　　　　　　　　　count = 0
　　　　　　　　　　break
　　　　　　except NoSuchElementException as e:
　　　　　　　　print('识别错误，继续识别')
　　　　　　　　ount -= 1
　　　　　　　　time.sleep(2)
　　　　else:
　　　　　　print('too many attempt check code ')
　　　　　　exit('退出程序')
　　finally:
　　　　driver.close()

 

3. 点触验证码的识别

除了极验验证码之外，还有一个常见且比较广泛的验证码，既点触验证码 例如12306
直接点击图中符合要求的图 答案全部正确验证才会成功 有一个错误验证就会失败

示例：

https://www.jianshu.com/sign_in

 

识别思路 ：
如果依靠图像识别验证码 识别难度非常大 第一点是文字识别 第二点是图像识别 图像背景会干扰 导致ORC几乎识别不出结果
如果直接识别白色文字 换一张验证码 颜色又变了

借助打码平台：

http://www.chaojiying.com/user/reg/

 

 注册账户
进入用户中心 申请软件ID
关注微信或者购买题分

 

http://www.chaojiying.com/api-14.html

 

 下载打码平台的api

示例如下：

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

　　def __init__(self, username, password, soft_id):
　　　　self.username = username
　　　　password = password.encode('utf8')
　　　　self.password = md5(password).hexdigest()
　　　　self.soft_id = soft_id
　　　　self.base_params = {
　　　　　　'user': self.username,
　　　　　　'pass2': self.password,
　　　　　　'softid': self.soft_id,
　　　　}
　　　　self.headers = {
　　　　　　'Connection': 'Keep-Alive',
　　　　　　'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
　　　　}

　　def PostPic(self, im, codetype):
　　　　"""
　　　　　　im: 图片字节
　　　　　　codetype: 题目类型 参考 http://www.chaojiying.com/price.html
　　　　"""
　　　　params = {
　　　　　　'codetype': codetype,
　　　　}
　　　　params.update(self.base_params)
　　　　files = {'userfile': ('ccc.jpg', im)}
　　　　r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
　　　　return r.json()

　　def ReportError(self, im_id):
　　　　"""
　　　　　　im_id:报错题目的图片ID
　　　　"""
　　　　params = {
　　　　　　'id': im_id,
　　　　}
　　　　params.update(self.base_params)
　　　　r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
　　　　return r.json()


if __name__ == '__main__':
　　chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001')    #用户中心>>软件ID 生成一个替换 96001
　　im = open('a.jpg', 'rb').read()    #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
　　print chaojiying.PostPic(im, 1902)    #1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()

 

这里定义了一个Chaojiying_Client类 其构造函数接收三个参数 分别是超级鹰用户名，超级鹰用户名的密码，软件ID
最重要的一个方法叫做PostPic，需要传入图片对象和验证码的代号，该方法会将图片对象的相关信息 发送个超级鹰后台进行识别，
然后将识别成功的JSON返回。
ReportError方法 发生错误的时候回调 如果验证码识别错误，调用此方法会返回相应的题分。

 

初始化

import time

from PIL import Image
from selenium import webdriver
from selenium.webdriver import ActionChains

from chaojiying import Chaojiying


def crack():
　　# 保存网页截图
　　browser.save_screenshot('222.jpg')

　　# 获取 验证码确定按钮
　　button = browser.find_element_by_xpath(xpath='//div[@class="geetest_panel"]/a/div')

　　# 获取 验证码图片的 位置信息
　　img1 = browser.find_element_by_xpath(xpath='//div[@class="geetest_widget"]')
　　location = img1.location
　　size = img1.size
　　top, bottom, left, right = location['y'], location['y'] + size['height'], location['x'], location['x'] + size[
　　　　'width']
　　print('图片的宽:', img1.size['width'])
　　print(top, bottom, left, right)

　　# 根据获取的验证码位置信息和网页图片 对验证码图片进行裁剪 保存
　　img_1 = Image.open('222.jpg')
　　capcha1 = img_1.crop((left, top, right, bottom - 54))
　　capcha1.save('tu1-1.png')

　　# 接入超级鹰 API 获取图片中的一些参数 (返回的是一个字典)
　　cjy = Chaojiying('liuxiaosong', '123456', '898237')
　　im = open('tu1-1.png', 'rb').read()
　　content = cjy.post_pic(im, 9004)
　　print(content)
　　# 将图片中汉字的坐标位置 提取出来
　　positions = content.get('pic_str').split('|')
　　locations = [[int(number) for number in group.split(",")] for group in positions]
　　print(positions)
　　print(locations)

　　# 根据获取的坐标信息 模仿鼠标点击验证码图片
　　for location1 in locations:
　　　　print(location1)
　　　　ActionChains(browser).move_to_element_with_offset(img1, location1[0], location1[1]).click().perform()
　　　　time.sleep(1)
　　button.click()
　　time.sleep(1)
　　# 失败后重试
　　lower = browser.find_element_by_xpath('//div[@class="geetest_table_box"]/div[2]').text
　　print('判断', lower)
　　if lower != '验证失败 请按提示重新操作' and lower != None:
　　　　print('登录成功')
　　　　time.sleep(3)
　　else:
　　　　time.sleep(3)
　　　　print('登录失败')
　　　　# 登录失败后 , 调用 该函数 , 后台 则对该次判断不做扣分处理
　　　　pic_id = content.get('pic_id')
　　　　print('图片id为:', pic_id)
　　　　cjy = Chaojiying('liuxiaosong', '123456', '898237')
　　　　cjy.report_error(pic_id)
　　　　crack()


if __name__ == '__main__':
　　browser = webdriver.Chrome()

　　browser.get('https://www.jianshu.com/sign_in')
　　browser.save_screenshot('login.png')

　　# 填写from表单 点击登陆 获取验证码 的网页截图
　　login = browser.find_element_by_id('sign-in-form-submit-btn')
　　username = browser.find_element_by_id('session_email_or_mobile_number')
　　password = browser.find_element_by_id('session_password')
　　username.send_keys('15221742895')
　　time.sleep(1)
　　password.send_keys('123456')
　　time.sleep(2)
　　login.click()
　　time.sleep(10)
　　crack()

 

 

二、代理的使用

前面介绍了多种请求库 requests urllib selenium等

1.获取代理

网上有很多免费代理 例如 西刺 http://www.xicidaili.com/ 但是免费代理大多数是不好用的 最靠谱的方法是购买付费代理

如果本机有代理软件的话 软件一般会在本机创建HTTP和SOCKS代理服务 本机直接使用代理也可以

示例： （也可以替换成自己的可用代理 设置代理后测试网址是http://httpbin.org/get 访问该网站可以得到请求信息 其中origin字段就是客户端的ip）

2.urllib

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

proxy = '127.0.0.1:14155'
proxy_handler = ProxyHandler({
　　'http':'http://' + proxy,
　　'https':'https://' + proxy
　　})
opener = build_opener(proxy_handler)

try:
　　response = opener.open('http://httpbin.org/get')
　　print(response.read().decode('utf-8'))
except URLError as e:
　　print(e.reason)

 

这里借助ProxyHandler 设置代理 参数是字典 键名为协议 键值为代理
创建完ProxyHandler对象后 调用 build_opener()方法传入该对象来创建一个opener对象

如果需要认证 可以改变proxy 变量 只需要在代理前面加入代理认证的用户名密码即可 例如 username:[email protected]:14155

3.requests

代理设置相对urllib简单 传入参数proxies

import requests

proxy = '127.0.0.1:14155'

proxies = {
　　'http': 'http://' + proxy,
　　'https': 'https://' + proxy,
}
try:
　　response = requests.get('http://httpbin.org/get', proxies=proxies)
　　print(response.text)
except requests.exceptions.ConnectionError as e:
　　print('Error', e.args)

 

需要认证的话同理 proxy = 'username:[email protected]:9743'

4. selenium

from selenium import webdriver

proxy = '127.0.0.1:14155'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://' + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/get')

 

如果是认证的相对比较麻烦

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import zipfile

ip = '127.0.0.1'
port = 14155
username = 'liuxiaosong'
password = '123456'

manifest_json = """
{
　　"version": "1.0.0",
　　"manifest_version": 2,
　　"name": "Chrome Proxy",
　　"permissions": [
　　"proxy",
　　"tabs",
　　"unlimitedStorage",
　　"storage",
　　"",
　　"webRequest",
　　"webRequestBlocking"
　　],
　　"background": {
　　"scripts": ["background.js"]
　　}
}
"""

background_js = """
var config = {
　　mode: "fixed_servers",
　　rules: {
　　　　singleProxy: {
　　　　　　scheme: "http",
　　　　　　host: "%(ip)s",
　　　　　　port: %(port)s
　　　　}
　　}
}

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
　　return {
　　　　authCredentials: {
　　　　　　username: "%(username)s",
　　　　　　password: "%(password)s"
　　　　}
　　}
}

chrome.webRequest.onAuthRequired.addListener(
　　callbackFn,
　　{urls: [""]},
　　['blocking']
)
""" % {'ip': ip, 'port': port, 'username': username, 'password': password}

plugin_file = 'proxy_auth_plugin.zip'
with zipfile.ZipFile(plugin_file, 'w') as zp:
　　zp.writestr("manifest.json", manifest_json)
　　zp.writestr("background.js", background_js)
chrome_options = Options()
chrome_options.add_argument("--start-maximized")
chrome_options.add_extension(plugin_file)
browser = webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')

 

需要本地创建一个manifest.json配置文件 background.js 脚本设置代理 运行之后本地会生成一个 proxy_auth_plugin.zip 文件保存当前设置

5.phantomjs

需要安装 下载地址 http://phantomjs.org/download 选择对应平台下载即可

下载后 解压文件 复制在bin目录下phantomjs.exe 到python目录下的script目录下 或者单独添加环境变量

cmd 运行 phantomjs 进入到phantomjs命令行表示配置成功

在selenium中使用的话 只需要将Chrome切换为PhantomJS即可

from selenium import webdriver
browser = webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)

 

会报警告 selenium 3.X版本 已经弃用PhantomJS 两种方式 使用Chrome无界面 headless 或者降低selenium版本 推荐第一种

示例：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')#上面三行代码就是为了将Chrome不弹出界面，实现无界面爬取
browser = webdriver.Chrome(chrome_options=chrome_options)

 

PhantomJS示例：

from selenium import webdriver

service_args = [
　　'--proxy=127.0.0.1:9743',
　　'--proxy-type=http'
]

browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)

 

如果加认证

from selenium import webdriver

service_args = [
　　'--proxy=127.0.0.1:9743',
　　'--proxy-type=http',
　　'--proxy-auth=username:password'
]

browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)

 

转载于:https://www.cnblogs.com/liuxiaosong/p/10366114.html