如何使用python实现对问卷的自动填写提交任务并且还能解决智能验证问题。
selenium是一款网页爬虫重要的工具。
这里需要准备chrome浏览器以及对应的驱动。需要注意的是驱动的版本需要和chrome保持一致。
chrome浏览器版自行查看本机安装版本。
chrome驱动下载链接 chrome驱动链接找到对应版本的驱动。
下载后将安装包解压(解压后为.exe文件)在自定义任意文件夹即可。
from selenium import webdriver
import numpy as np
import time
from selenium.webdriver.common.by import By
这部分的目的主要是快速上手应用到自己的问卷当中,如果该部分出现问题,那么可能是问卷星版本不同,默认的XPATH不同导致的,所以可以跳至 三 从原理进行根据自身情况量身打造。
代码如下(示例):
url = 'https://www.wjx.cn/vm/tMNr1Ba.aspx' # 问卷链接
path = r"E:\\chorme_qd\\chromedriver_win32\\chromedriver.exe" #前面下载的chrome驱动链接
定义选择方式。这里选择对多选题和单选题的选择方式为随机选取。
def selection(a): #随机选择 输入参数为任意个数str(xpath) 返回值为某一随机str(xpath)
n = len(a)
num = np.random.randint(1,n)
for i in range(1,n+1,1):
if(i==num):
return a[num-1]
def delay_roll(driver, t=0.5, distance=200): #延时+屏幕滚动
global roll_distance
roll_distance = roll_distance + distance
js="var q=document.documentElement.scrollTop=" + str(roll_distance) #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js)
time.sleep(t)
def duoxuan(driver, num, nums): #多选题 num:题号 nums:选项个数
xx = []
for i in range(1, nums+1):
xpath = '//*[@id="div' + str(num) + '"]/div[2]/div[' + str(i) + "]/span/a"
xx.append(xpath)
n = len(xx)
num = np.random.randint(2, n)
ids = set(np.random.randint(0,n-1,num))
for i in ids:
time.sleep(1)
driver.find_element(By.XPATH, xx[i]).click()
delay_roll(driver, 0.5, 200) #延时0.5s,滚动200长度
def danxuan(driver, num, nums): #单选题 num:题号 nums:选项数量 driver:网页读取类
xx = []
for i in range(1, nums+1):
xpath = '//*[@id="div' + str(num) + '"]/div[2]/div[' + str(i) + "]/span/a"
xx.append(xpath)
driver.find_element(By.XPATH, selection(xx)).click()
delay_roll(driver, 0.5, 200) #延时0.5s,滚动200长度
def tiankong(driver, num, text): #填空 num: 题号 text:内容
driver.find_element(By.XPATH, '//*[@id="q' + num + '"]').send_keys(str(text))
delay_roll(driver)
这里如果使用的当前版本最新的问卷,为了简易快速上手,全部采用默认值封装成函数。
下面编写主函数就非常简单易懂易上手。
def autoWrite(num):
for i in range(num):
print("正在执行操作......")
# 给出所需的url和option参数
url_survey = (url) # 根据需要填写url
#防止被浏览器识别为脚本
option = webdriver.ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(executable_path=path, options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'})
driver.get(url_survey)
time.sleep(0.2)
#第一题 单选
danxuan(driver, 1, 4) #题号为1,有4个选项
#第二题 填空
tiankong(driver, 2, "test") #题号为2,填写内容为:”test“
#第三题 多选题
duoxuan(driver, 3, 7) #题号为3,7个选项
#第四题 样例的问卷中该单选题这个单选题选是的话还要继续填内容,没做这个,所以为了跑通测试选择否就行了。
driver.find_element(By.XPATH, '//*[@id="div4"]/div[2]/div[2]/span/a').click()
time.sleep(1)
#点击提交
driver.find_element(By.XPATH, '//*[@id="ctlNext"]').click()
print('第'+str(i)+'次填写成功')
time.sleep(1)
# 模拟点击智能验证按钮
# 先点确认
try:
driver.find_element(By.XPATH,'//*[@id="layui-layer1"]/div[3]/a[1]').click()
time.sleep(1)
except:
pass
# 再点智能验证提示框,进行智能验证
try:
driver.find_element(By.XPATH, '//*[@id="SM_BTN_WRAPPER_1"]').click()
time.sleep(3)
except:
pass
print("end")
driver.quit()
time.sleep(2)
在这部分,实际需要修改的呢就是以下这部分了:
#第一题 单选
danxuan(driver, 1, 4) #题号为1,有4个选项
#第二题 填空
tiankong(driver, 2, "test") #题号为2,填写内容为:”test“
#第三题 多选题
duoxuan(driver, 3, 7) #题号为3,7个选项
在默认你使用的问卷版本跟作者一样的话就可以只需要修改autoWrite中的以上部分的代码即可。
逻辑很简单,按照问卷排版格式,一条一条编写下来即可。比如上述三条代码的对应关系如下:
该部分将从原理出发来讲解如何编写全部代码。
该部分作用还是选择题的选择策略自定义。
def selection(*a): #单选题 输入参数为任意个数str(xpath) 返回值为某一随机str(xpath)
global flag
n = len(a)
num = np.random.randint(1,n)
for i in range(1,n+1,1):
if(i==num):
flag = num
return a[num-1]
def duoxuan(driver, a): #随机数生成
n = len(a)
num = np.random.randint(2, n)
ids = set(np.random.randint(0,n-1,num))
for i in ids:
time.sleep(1)
driver.find_element(By.XPATH, a[i]).click()
def delay_roll(driver, t, distance): #延时+滑动
global roll_distance
roll_distance = roll_distance + distance
js="var q=document.documentElement.scrollTop=" + str(roll_distance) #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js)
time.sleep(t)
对于选择的原理就是找到题中各个选项的XPATH地址即可。
首先、在问卷网页中按F12进入检查界面。
在元素中通过一层一层的查找到id=divQuestion即找到了我们的问卷区域。
在该层下罗列了所以题目的信息元素。
顺着层级关系我们就能够找到对应的选项的位置在哪。
右键选中该部分,复制XPath则获取到了对应模块的按钮地址,比如该模块为
//*[@id=“div1”]/div[2]/div[1]/div
而我们就可以通过以下方法来使用他:
driver.find_element(By.XPATH, '//*[@id="div1"]/div[2]/div[1]/div').click()
以上表示click点击该部分的意思。
基于 以上内容 基本上所有的模块都是可以通过这个方法找到他的XPath进行调用。
对于填空使用如下方法:
driver.find_element(By.XPATH, '//*[@id="q2"]').send_keys('text')
不同模块的XPath格式不同。
最后附上二 三 部分的代码
二:
from selenium import webdriver
import numpy as np
import time
from selenium.webdriver.common.by import By
# option = webdriver.ChromeOptions()
# option.add_argument('headless')
url = 'https://www.wjx.cn/vm/tMNr1Ba.aspx'
path = r"E:\\chorme_qd\\chromedriver_win32\\chromedriver.exe"
roll_distance = 0
def selection(a): #单选题 输入参数为任意个数str(xpath) 返回值为某一随机str(xpath)
n = len(a)
num = np.random.randint(1,n)
for i in range(1,n+1,1):
if(i==num):
return a[num-1]
def delay_roll(driver, t=0.5, distance=200): #延时+屏幕滚动
global roll_distance
roll_distance = roll_distance + distance
js="var q=document.documentElement.scrollTop=" + str(roll_distance) #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js)
time.sleep(t)
def duoxuan(driver, num, nums): #多选题 num:题号 nums:选项个数
xx = []
for i in range(1, nums+1):
xpath = '//*[@id="div' + str(num) + '"]/div[2]/div[' + str(i) + "]/span/a"
xx.append(xpath)
n = len(xx)
num = np.random.randint(2, n)
ids = set(np.random.randint(0,n-1,num))
for i in ids:
time.sleep(1)
driver.find_element(By.XPATH, xx[i]).click()
def danxuan(driver, num, nums): #传入 num:题号 nums:选项数量 driver:网页读取类
xx = []
for i in range(1, nums+1):
xpath = '//*[@id="div' + str(num) + '"]/div[2]/div[' + str(i) + "]/span/a"
xx.append(xpath)
driver.find_element(By.XPATH, selection(xx)).click()
delay_roll(driver, 0.5, 200) #延时0.5s,滚动200长度
def tiankong(driver, num, text): #num: 题号 text:内容
driver.find_element(By.XPATH, '//*[@id="q' + str(num) + '"]').send_keys(str(text))
delay_roll(driver)
def autoWrite(num):
global roll_distance
for i in range(num):
roll_distance = 0
print("正在执行操作......")
# 给出所需的url和option参数
url_survey = (url) # 根据需要填写url
#防止被浏览器识别为脚本
option = webdriver.ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(executable_path=path, options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'})
driver.get(url_survey)
time.sleep(0.2)
#第一题 单选
danxuan(driver, 1, 4) #题号为1,有4个选项
#第二题 填空
tiankong(driver, 2, "test") #题号为2,填写内容为:”test“
#第三题 多选题
duoxuan(driver, 3, 7) #题号为3,7个选项
#第四题 样例的问卷中该单选题这个单选题选是的话还要继续填内容,没做这个,所以为了跑通测试选择否就行了。
driver.find_element(By.XPATH, '//*[@id="div4"]/div[2]/div[2]/span/a').click()
time.sleep(1)
#点击提交
driver.find_element(By.XPATH, '//*[@id="ctlNext"]').click()
print('第'+str(i)+'次填写成功')
time.sleep(1)
# 模拟点击智能验证按钮
# 先点确认
try:
driver.find_element(By.XPATH,'//*[@id="layui-layer1"]/div[3]/a[1]').click()
time.sleep(1)
except:
pass
# 再点智能验证提示框,进行智能验证
try:
driver.find_element(By.XPATH, '//*[@id="SM_BTN_WRAPPER_1"]').click()
time.sleep(3)
except:
pass
print("end")
driver.quit()
time.sleep(2)
autoWrite(3)
三:
from selenium import webdriver
import numpy as np
import time
from selenium.webdriver.common.by import By
# option = webdriver.ChromeOptions()
# option.add_argument('headless')
url = 'https://www.wjx.cn/vm/tMNr1Ba.aspx'
path = r"E:\\chorme_qd\\chromedriver_win32\\chromedriver.exe"
roll_distance = 0
def selection(a): #单选题 输入参数为任意个数str(xpath) 返回值为某一随机str(xpath)
n = len(a)
num = np.random.randint(1,n)
for i in range(1,n+1,1):
if(i==num):
return a[num-1]
def delay_roll(driver, t=0.5, distance=200): #延时+屏幕滚动
global roll_distance
roll_distance = roll_distance + distance
js="var q=document.documentElement.scrollTop=" + str(roll_distance) #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js)
time.sleep(t)
def duoxuan(driver, xx): #多选题 num:题号 nums:选项个数
n = len(xx)
num = np.random.randint(2, n)
ids = set(np.random.randint(0,n-1,num))
for i in ids:
time.sleep(1)
driver.find_element(By.XPATH, xx[i]).click()
def autoWrite(num):
global roll_distance
for i in range(num):
roll_distance = 0
print("正在执行操作......")
# 给出所需的url和option参数
url_survey = (url) # 根据需要填写url
#防止被浏览器识别为脚本
option = webdriver.ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
option.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(executable_path=path, options=option)
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument',
{'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'})
driver.get(url_survey)
time.sleep(0.2)
#第一题
driver.find_element(By.XPATH, selection('//*[@id="div1"]/div[2]/div[1]/span/a',
'//*[@id="div1"]/div[2]/div[2]/span/a',
'//*[@id="div1"]/div[2]/div[3]/span/a',
'//*[@id="div1"]/div[2]/div[4]/span/a')).click()
# driver.find_element(By.XPATH, '//*[@id="q2"]').send_keys('money')
js="var q=document.documentElement.scrollTop=400"
driver.execute_script(js)
#第二题//*[@id="q2"]
time.sleep(1)
driver.find_element(By.XPATH, '//*[@id="q2"]').send_keys('money')
js="var q=document.documentElement.scrollTop=200" #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js) #执行下拉像素操作
#第三题
time.sleep(1)
duoxuan(driver, ('//*[@id="div3"]/div[2]/div[1]/span/a',
'//*[@id="div3"]/div[2]/div[2]/span/a',
'//*[@id="div3"]/div[2]/div[3]/span/a',
'//*[@id="div3"]/div[2]/div[4]/span/a',
'//*[@id="div3"]/div[2]/div[5]/span/a',
'//*[@id="div3"]/div[2]/div[6]/span/a',
'//*[@id="div3"]/div[2]/div[7]/span/a'))
#第四题
js="var q=document.documentElement.scrollTop=400" #下拉像素(800是基于最顶端测算的距离)
driver.execute_script(js) #执行下拉像素操作
time.sleep(1)
driver.find_element(By.XPATH, '//*[@id="div4"]/div[2]/div[2]/span/a').click()
time.sleep(1)
driver.find_element(By.XPATH, '//*[@id="ctlNext"]').click()
print('第'+str(i)+'次填写成功')
time.sleep(2)
# 模拟点击智能验证按钮
# 先点确认//*[@id="layui-layer1"]/div[3]/a[1] //*[@id="SM_BTN_WRAPPER_1"]
try:
driver.find_element(By.XPATH,'//*[@id="layui-layer1"]/div[3]/a[1]').click()
time.sleep(1)
except:
pass
try:
driver.find_element(By.XPATH, '//*[@id="SM_BTN_WRAPPER_1"]').click()
time.sleep(3)
except:
pass
# 再点智能验证提示框,进行智能验证
# driver.find_element(By.XPATH,"//div[@id='captcha']").click()
print("end")
driver.quit()
time.sleep(2)
autoWrite(3)
参考博客:https://blog.csdn.net/DexiangPeng/article/details/121451375
本文基于问卷演示了如何进行爬虫,对网页内容进行解析,只用作技术学习交流,勿用在其他不当用途上、一起提升网页操作相关的能力。