超级鹰+selenium规避检测模拟登录12306

环境准备

1.python3.6+
2.超级鹰账号(超级鹰官网)
3.selenium
4.谷歌浏览器88版(涉及selenium规避检测)

流程分析

1.selenium打开浏览器,跳转账号密码登录页面
2.获取验证码图面
3.超级鹰处理验证码
4.模拟输入账号密码并点击验证码
5.解决登录滑块

1.跳转账号密码页面

现在大多数平台的初始登录页面都是二维码,这里通过selenium点击实现切换登录模式

 # 打开页面,切换登录模式
        bro.get('https://kyfw.12306.cn/otn/resources/login.html')
        # time.sleep(0.5)
        btn=bro.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a')
        btn.click()
        time.sleep(0.5)

验证码获取

这里获取的图片跟一般情况中下载图片有所区别,因为验证码每次请求或者刷新都是不一样的,通过解析页面src去获取图片,就不能跟当前输入账号密码匹配的页面实现登录了。
所以这里以selenium截图的方式去实现
超级鹰+selenium规避检测模拟登录12306_第1张图片
为了方便二次局部裁剪出验证码,以及后续的验证码点击像素定位,我们先获取验证码图片左上角的像素坐标。

# 定位验证码图片像素坐标
        img_locat = bro.find_element_by_id('J-loginImg')
        location = img_locat.location
        size = img_locat.size
        # 通过验证码左上角坐标与图片长宽计算右下角像素坐标
        coordinate = (location['x'], location['y'], size['width']+location['x'], size['height']+location['y'] )
        # selenium屏幕截图,局部裁剪出验证码图片
        bro.save_screenshot('crop.png')
        img = Image.open('./crop.png')
        crop_img = img.crop(coordinate)
        crop_img.save('code.png')

裁剪出来的验证码图片可能不准确,那是因为电脑屏幕与浏览器显示的比例有关系。电脑屏幕显示调至100%,然后selenium打开浏览器时设置最大化显示

# 调整浏览器显示大小
bro.maximize_window()

上述代码执行完可以看到两张图片:

超级鹰+selenium规避检测模拟登录12306_第2张图片

超级鹰处理图片

详细操作这里就不废章节了,主要是看超级鹰提供的开发文档以及接口代码
从超级鹰开发文档中选择python语言,并下载代码接口后可以看到一下代码:

#!/usr/bin/env python
# coding:utf-8

import requests
from hashlib import md5

class Chaojiying_Client(object):

    def __init__(self, username, password, soft_id):
        self.username = username
        password =  password.encode('utf8')
        self.password = md5(password).hexdigest()
        self.soft_id = soft_id
        self.base_params = {
     
            'user': self.username,
            'pass2': self.password,
            'softid': self.soft_id,
        }
        self.headers = {
     
            'Connection': 'Keep-Alive',
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
        }

    def PostPic(self, im, codetype):
        """
        im: 图片字节
        codetype: 题目类型 参考 http://www.chaojiying.com/price.html
        """
        params = {
     
            'codetype': codetype,
        }
        params.update(self.base_params)
        files = {
     'userfile': ('ccc.jpg', im)}
        r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
        return r.json()

    def ReportError(self, im_id):
        """
        im_id:报错题目的图片ID
        """
        params = {
     
            'id': im_id,
        }
        params.update(self.base_params)
        r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
        return r.json()


if __name__ == '__main__':
	chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001')	#用户中心>>软件ID 生成一个替换 96001
	im = open('a.jpg', 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
	print (chaojiying.PostPic(im, 1902))												#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()


这里主要需要了解的就是怎么去调用,就看最后三行就可以了。
可以看到实例化一个对象后,需要三个参数。分别是你注册的超级鹰账号密码,软件ID以及验证码注释有说明。着重看返回的结果
在这里插入图片描述
它返回的是一个字典,其中pic_str是主要的结果。图中的只是测试类型的数字验证码。12306的验证码类型,pic_str的值则是像素坐标。要点击一个或多个验证码时返回的坐标也一一对应,所以这里要对返回的坐标做一个处理

# 超级鹰处理验证码
def code_result(img_path):
    img = open(img_path, 'rb').read()
    code_coondinate = chaojiying.PostPic(img,9004)
    return code_coondinate
# 提取像素坐标
def change_type(result_list):
    x_y = []
    if '|' in result_list:
        t = result_list.split('|')
        for i in range(len(t)):
            temp = []
            temp.append(int(t[i].split(',')[0]))
            temp.append(int(t[i].split(',')[1]))
            x_y.append(temp)
    else:
        temp = []
        t = result_list.split(',')
        temp.append(int(t[0]))
        temp.append(int(t[1]))
        x_y.append(temp)
    return x_y

模拟登录

		click_locat = change_type(result)
       # 定位账号密码输入标签与登录按钮
        user_input = bro.find_element_by_id('J-userName')
        user_input.send_keys(account)
        # time.sleep(0.5)
        psd_input = bro.find_element_by_id('J-password')
        psd_input.send_keys(password)
        time.sleep(0.5)
        # 创建动作连点击验证码
        for i in click_locat:
            action = ActionChains(bro)
            x = i[0]
            y = i[1]
            action.move_to_element_with_offset(img_locat, x, y).click().perform()
            time.sleep(0.5)

        login_btn = bro.find_element_by_id('J-login')
        login_btn.click()
        time.sleep(1)

要注意的是,其中动作链对象‘action = ActionChains(bro)’的创建要在循环内,不然要点击多个图标的验证码会失败。

登录滑块

超级鹰+selenium规避检测模拟登录12306_第3张图片

因为谷歌浏览器升级88版本后,以往的selenium规避检测方法都不行了。所以这里即使滑动成功也不行,所以要在创建浏览器对象时就要做规避

# 规避浏览器selenium检测
a = Options()
a.add_experimental_option("excludeSwitches", ["enable-automation"])
a.add_argument("--disable-blink-features=AutomationControlled")
with open('./stealth.min.js') as f:
    js=f.read()

这里的stealth.min.js文件,有需要可以私聊博主获取。

效果视频

12306模拟登录

完整代码

#coding:utf-8
from selenium import webdriver
import time
from chaojiying_Python.chaojiying import  Chaojiying_Client
from PIL import Image
from  selenium.webdriver import ActionChains
from selenium.webdriver.chrome.options import Options


# 规避浏览器selenium检测
a = Options()
a.add_experimental_option("excludeSwitches", ["enable-automation"])
a.add_argument("--disable-blink-features=AutomationControlled")
with open('./stealth.min.js') as f:
    js=f.read()
# 实例化一个浏览器对象
bro = webdriver.Chrome('D:\Downloads\chromedriver\chromedriver.exe', options=a)
bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",   {
     "source": js})
# 调整浏览器显示大小
bro.maximize_window()
# 实例化超级鹰对象
chaojiying = Chaojiying_Client('超级鹰账号', '超级鹰密码', '912625')

def login(account,password):
    global img_locat
    # 超级鹰验证码不是百分百准确,以及12306偶尔会页面崩溃,这里加个异常捕获
    try:
        # 打开页面,切换登录模式
        bro.get('https://kyfw.12306.cn/otn/resources/login.html')
        # time.sleep(0.5)
        btn=bro.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a')
        btn.click()
        time.sleep(0.5)
        # 定位验证码图片像素坐标
        img_locat = bro.find_element_by_id('J-loginImg')
        location = img_locat.location
        size = img_locat.size
        # 通过验证码左上角坐标与图片长宽计算右下角像素坐标
        coordinate = (location['x'], location['y'], size['width']+location['x'], size['height']+location['y'] )
        # selenium屏幕截图,局部裁剪出验证码图片
        bro.save_screenshot('crop.png')
        img = Image.open('./crop.png')
        crop_img = img.crop(coordinate)
        crop_img.save('code.png')
        # 超级鹰处理验证码
        result = code_result('code.png')['pic_str']

        click_locat = change_type(result)
        # 定位账号密码输入标签与登录按钮
        user_input = bro.find_element_by_id('J-userName')
        user_input.send_keys(account)
        # time.sleep(0.5)
        psd_input = bro.find_element_by_id('J-password')
        psd_input.send_keys(password)
        time.sleep(0.5)
        # 创建动作连点击验证码
        for i in click_locat:
            action = ActionChains(bro)
            x = i[0]
            y = i[1]
            action.move_to_element_with_offset(img_locat, x, y).click().perform()
            time.sleep(0.5)

        login_btn = bro.find_element_by_id('J-login')
        login_btn.click()
        time.sleep(1)

        # 解决新增的登录滑块
        slide = bro.find_element_by_xpath('//*[@id="nc_1_n1z"]')
        action = ActionChains(bro)
        action.click_and_hold(slide)
        action.move_by_offset(300, 0).perform()
        action.release()

    except Exception as e:
        # 异常处理,验证码处理失败则重新执行
        print(e.__class__.__name__,e)
        bro.refresh()
        time.sleep(2)
        login('12306账号', '密码')


# 超级鹰处理验证码
def code_result(img_path):
    img = open(img_path, 'rb').read()
    code_coondinate = chaojiying.PostPic(img,9004)
    return code_coondinate

# 提取像素坐标
def change_type(result_list):
    x_y = []
    if '|' in result_list:
        t = result_list.split('|')
        for i in range(len(t)):
            temp = []
            temp.append(int(t[i].split(',')[0]))
            temp.append(int(t[i].split(',')[1]))
            x_y.append(temp)
    else:
        temp = []
        t = result_list.split(',')
        temp.append(int(t[0]))
        temp.append(int(t[1]))
        x_y.append(temp)
    return x_y

login('12306账号','密码')

你可能感兴趣的:(爬虫)