【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队

1、前言

22年底ChatGPT就已风靡行业内外,简单来说,它是基于自然语言生成式 AI 模型,打造的一款聊天机器人。是 OpenAI 于 11 月 30 日推出的最新作品,供公众免费测试。他可以根据用户的提示,模仿类似人类的对话,和普通的智能机器人有天地之别,非常真实。我们跟他说各种内容,比如写代码、汇总周报、写邮件、写诗句、查百科什么的,ChatGPT 都对答如流,根本不在话下。

圈内开始尝试利用chatGPT提升工作效率,比如VSCode,IDE 插件市场迅速上线 ChatGPT,诸多大神也纷纷基于chatGPT搭建微信、浏览器插件、客户端等。

如此火爆之势,作为测试人员对此也颇为好奇,简单的人机对话有哪些可以帮助我们测试工作呢?本文主要谈从测试视角,结合测试流程来看chatGPT的应用。

2、测试流程介绍

结合团队现有测试流程如下:

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第1张图片

我们按照测试流程,拆解具体任务,测试人员在每个环节需要输出什么内容呢?

  • 分析需求,编写测试计划,明确测试策略,包含安全、性能等,输出测试排期;
  • 提炼出测试点,以功能点具体拆分测试用例,包含冒烟用例、流程用例、异常用例、联调用例等;
  • 根据接口定义,提前准备自动化脚本,测试阶段按照业务流程增加断言及脚本调优;

再来细化,测试计划,提炼功能,这些必然需要测试人员通过自己对PRD的分析,对业务的熟悉后逐一定制,那GPT既然是人工智能对话,那我将总结出的“固定需求”对他进行发问,看看他的产出。

3、GPT答案评估

编写测试用例

按照提炼出的测试点,以简明扼要的语言与他沟通一轮,

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第2张图片

接着,由于 ChatGPT 有记忆功能,它能知道刚才我们让它干了什么,

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第3张图片

再给他些引导,让他继续

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第4张图片

换一个GPT客户端再试一轮呢

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第5张图片

上图所示,他的回答基本属于测试基础常识,距离真正的工作中的用例要求还是相差很多,甚至有些答非所问。我问的边界值,等价类,判定表等都没有回答到位,仿佛依然从他所学所会的库里翻找,在拍脑袋随机写用例,而且和最开始问的自营车新增接口仿佛没有特定关联。但用来作为补充和借鉴是非常好的。把他当做搜索引擎来用,结果聚合度高,不用搜索多个页面,自己汇总模板答案。

编写自动化脚本

到了第二步骤,随着测试前置不断推进,我们期望自动化占比冒烟用例的比例逐步提升,那如何能够提升自动化脚本的编写速度,我们来看看GPT能不能助我们一臂之力呢?

先来接口自动化的试试

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第6张图片

然后同样的场景问问UI的呢

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第7张图片

如上,他回答问题时会出现偶尔中断情况,需要我们再耐心一点继续发问

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第8张图片

如上GPT给出了一个简单的线性脚本。他的答案不能直接copy,可能他的知识库没有覆盖足够的业务场景?

所以干脆我们直接跳过业务,问一个基础登录的示例,看看我们能用到哪些呢?

长截图不方便那我直接copy出来代码:

from seLenium import webdriver
import time
#设置测览器塑动路径
driver = webdriver.Chrome(executable_path='/path/to/chromedriver')

# 打开网址
driver.get('http:/example/")

# 验证用户名和密码输入框是否存在
assert driver.find_element_by_name('username')
assert driver.find_element_by_name('password')

# 测试无效用户名和密码
invalid_username ='fakeuser'
invalid_password ='fakepass'
driver.find_element_by_name('username').send_keys(invalid_username)
driver.find_element_by_name('password').send_keys(invalid_password)
driver.find_element_by_css_selector('button[type="submit"]').click()

# 检查错误消息是香正碑量示
error_msg= driver.find_element_by_css_selector(',alert-danger').text
assert "用户名或密码不正确" in error_msg

# 测试正确凭证
valid_username = 'testuser'
valid_password = 'testpass'

driver.find_element_by_name('username').clear()
driver.find_element_by_name('username').send_keys(vaLid_username)
driver.find_element_by_name('password').clear()
driver.find_element_by_name('password').send_keys(valid_password)
driver.find_element_by_name("button[type="submit"]') .click()

# 验证是否成功跳转到主页
time.sleep(1) #等待页面刷新
assert driver.current_url == 'http://example.cn/home/'

# 验证是显示用户信息
user_info = driver.find_element_by_css_selector('userinfo').text
assert valid_username in user_info

# 退出登录
driver.find_element_by_link_text("退出"),click()

# 关闭浏览器
driver.quit()


selenium自动化脚本的启动和收尾没太大问题;然后验证用户名密码输入框是否存在,如果不存在就报错了;然后用一个错误的用户名密码 登录了一次,验证提示语是否正确;然后又登录了一次正确的用户名密码,验证是否可以跳转到主页;然后又验证了一下主页的用户名显示元素是否包含用户名;最后点击退出按钮,然后关闭浏览器。

分析以上脚本:

优点:GPT写的代码基本没有语法问题,支持扫描被测试页面中的几个关键元素的定位;代码注释这点我觉得特别不错,是一个很好的代码规范,可以在我们日常中借鉴;

缺点:其中的正确用户名、密码、主页、主页用户名展示,主页退出按钮等都是GPT擅自揣测的且没有提前说明,如果给不懂脚本的人来看是会被忽悠住;

用例脚本太少了,和上面一大堆的用例完全不是一起来的;用例没有引入什么标准框架,比较落后;selenium的定位写法也比较落后,最新的版本中这种写法是会报错的;

脚本没有分层概念,不能直接复用到现有的成熟框架里。

总结:代码还不能完全落地,仍然需要人来完善,但作为开个头来说还是不错的。

然后,我继续更新问题让其用unittest来重写,以便测试GPT能做到的极限。

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

class LoginTestCase(unittest.TestCase):

    def setup(self):
        self.driver = webdriver.executable_path='/path/to/chromedriver')
        self.driver.get('http://Logout/')
    
    def tearDown(self):
        self.driver.quit()
    
    def test_invalid_credentials(self):
        # 测试无效用户名和密码
        invalid_usernane = "fakeuser"
        invalid_password = "fakepass"
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        submit_button = self.driver.find_element_by_css_selector("button[type='submit']")
        username_input.send_keys(invalid_username)
        password_input.send_keys(invalid_password)
        submit_button.click()
        
        # 检查错误消息是否正确显示
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn("用户名或密码不正确',error_msg)


    def test_valid_credentials(self):
        # 测试正确数据
        valid_username='testuser'
        valid_password='testpass'
    
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        submit_button = self.driver.find_element_by_css_selector('button[type="subnit"]')
        username_input.clear()
        username_input.send_keys(valid_username)
        password_input.clear()
        password_input.send_keys(valid_password)
        submit_button.click()
        
        # 验证是否成功跳转到主页
        self.assertEqual(self.driver.current_url,"http://example/")
        
        # 验证是否显示用户信息
        user_info = self.driver.find_element_by_css_selector('.user-info').text
        self.assertIn(valid_username, user_info)
     def test_remember_me(self):
        # 测试是否记住用户名和密码
        valid_username ='testuser'
        valid_password='testpass'
        username_input = setf.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        remember_me_checkbox = self.driver.find_eLement_by_id('remember_me')
        submit_button = self.driver.find_element_by_css_selector("button[type='submit']")

        username_input.clear()
        username_input.send_keys(valid_username)
        password_input.clear()
        password_input.send_keys(valid_password)
        remember_me_checkbox.cLick()
        submit_button.click()

        # 验证是否已记住用户名和密码
        self.driver.get('http://example/")
        username_input = setf.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')

        self.assertEqual(usernane_input.get_attribute("value"),valid_usernane)
        self.assertEqual(password_input.get_attribute("value"),valid_password)



再来分析以上脚本,优点:使用了uniitest框架;增加了一条测试记住的用例;初始化的代码写在了setup可以保证每条用例的低耦合;缺点:数量,场景等仍然远远不足,且没有使用任何高级的写法,没有考虑时间等待等异常风险。 然后我再次提高询问水准,看看其代码程度,代码比较重复度高,截取一些关键点和新的部分:

import unittest
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
class LoginTestCase(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
        self.driver.get('http:/example/')
    def tearDown(self):
        self.driver.quit()
    def test_invalid_credentials(self):
        # 测试无效用户名和密码
    def test_valid_credentials(self):
        # 测试正确凭据
    def test_remember_me(self):
        # 测试是否记住用户名和密码
    def test_empty_credentials(self):
        # 测试空用户名和密码
    def test_long_credentials(self):
        # 测试过长的用户名和密码
    def test_lockout_after_failed_attempts(self):
        # 测试多次失败登录后账户锁定
        invalid_username = 'testuser'
        invalid_password = 'wrongpass'
        username_input, password_input, submit_button = self._get_login_elements()
        for _ in range(3):
            ...
        # 检查账户是否被锁定
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn('您的账户已被锁定', error_msg)

    def _get_login_elements(self):
        # 获取登录表单元素
        username_input = self.driver.find_element_by_name('username')
        password_input = self.driver.find_element_by_name('password')
        remember_me_checkbox = self.driver.find_element_by_id('remember-me')
        submit_button = self.driver.find_element_by_css_selector('button[type="submit"]')
        return username_input, password_input, remember_me_checkbox, submit_button
if __name__ == '__main__':
    unittest.main()


继续点评:

优点:用例条数增多,如果继续追问下去,应该还可以增加;有了初级page-object模式的影子,元素定位独立出来了;

缺点:代码冗余,没有充分利用好用例规程和并发线程,浪费了很多执行时间。仍然没有考虑到一些网络延迟,卡顿等异常风险的处理。尚无数据驱动和关键字驱动概念。

然后我们继续升级提问文案,让其并发一下:

def test_login(self):
    #使用多个数据组合测试登录功能
    test_data=
    [
        ('username':'testuser','password':"testpass",'expected_uri':"http://example/",'expected_text':"欢迎testuser"},
        ('username':"fakeuser','password':"fakepass",'expected_error':"用户名或密码不正确"},
        ('username':'','password':"",'expected_error':"请输入用户名"}
    [
    threads = []
    for data in test_data:
        thread = threading.Thread(target=self._perform_login, args=(data,))
        thread.start()
        threads.append(thread)
    for thread in threads:
        thread.join()
def _perform_login(self,data):
    #执行单次登录操作
    username_input,password_input,submit_button=self._get_login_elements()
    
    username_input.clear()
    username_input.send_keys(data['username'])
    password_input.clear()
    password_input.send_keys(data['password'])
    submit_button.click()
    
    if 'expected_error' in data:
        error_msg = self.driver.find_element_by_css_selector('.alert-danger').text
        self.assertIn(data['expected_error'],error_msg)
    else:
        self.assertEqual(data['expected_url'],self.driver.current_url)
        self.assertIn(data['expected_text'],self.driver.page_source)


点评:

优点:上述代码,使用了thread库进行多线程并发;巧妙的初步运用了数据驱动的概念,不但用户名密码是不同的,连每次的提示语和url都进行了断言;初步运用了关键字驱动,来让每个线程自动判断自身的断言目的。而po模式的影子仍然存在;

缺点:多线程的运用没有进行系统的封装,存在较大风险和局限;用例的内容结构比较单一,之前复杂的如测试浏览器记住用户密码等无法参与到这个并发中;线程是按照用例作为基本单位,对需要前后文关联的多用例是无法实现的,(所以需要在线程和用例之间制作新的中间层作为单位比较好);数据分离仍然没有实现。

继续优化提问,看看结果:(代码仍然简化,只留下关键行)

class LoginPage:
    def __init__(self, driver):
        self.driver = driver
    def load(self):
        self.driver.get('http:/t/')
    def login(self, username, password, remember_me):
        # 输入用户名和密码
        username_input, password_input, remember_me_checkbox, submit_button = self._get_login_elements()
        ...
        # 点击“登录”按钮
    def get_error_message(self):

        return error_msg
    def get_user_info(self):
        return user_info
    def _get_login_elements(self):
        # 获取登录表单元素
        return username_input, password_input, remember_me_checkbox, submit_button

class LoginTest(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
        self.login_page = LoginPage(self.driver)
    def tearDown(self):
        self.driver.quit()
    def test_valid_login(self):
        # 测试正确凭据登录
        test_data = {'username': 'testuser', 'password': 'testpass', 'remember_me': True}
        self.login_page.load()
        self.login_page.login(test_data['username'], test_data['password'], test_data['remember_me'])
        # 验证是否成功跳转到主页并显示用户信息
    def test_invalid_login(self):
        # 测试无效凭据登录
    def test_empty_username(self):
        # 测试空用户名登录

class LoginKeywordTest(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Chrome(executable_path='/path/to/chromedriver')
    def tearDown(self):
        self.driver.quit()
    def test_valid_login(self):
        # 测试正确凭据登录
        test_data = {'username': 'testuser', 'password': 'testpass', 'remember_me': True}
        self._perform_login(test_data)
        # 验证是否成功跳转到主页并显示用户信息
    def test_invalid_login(self):
        # 测试无效凭据登录
        test_data = {'username': 'fakeuser', 'password': 'fakepass', 'expected_error': '用户名或密码不正确'}
        self._perform_login(test_data)
        # 检查错误消息是否正确显示
    def test_empty_username(self):
        # 测试空用户名登录
         ......
        


点评:

优点:增加了关键字驱动,数据驱动,po模式,并发等高级用法。

缺点:各种高级用法割裂严重,并没有融合到一起去实现,而是单纯的写了好几个独立的类demo。

总结:代码直接运行起来还是会有很多问题,需要大量人工矫正。同样在连续的对话中,也需要测试同学自身对代码和框架建设的理解,才能挖掘更深一步GPT更多的价值,否则首次发问的答案目前不能提供更多参考。

功能测试阶段

前期准备测试用例,现在开始执行测试,日常工作测试验证预期的三板斧呢?看页面,翻日志,查数据库。

于是,继续找他编写SQL,查看日志,

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第9张图片

增加查询条件再问试试

【ChatGPT-应用篇】基于chatGPT覆盖测试过程的初步探索 | 京东物流技术团队_第10张图片

对于融入执行测试阶段呢,以上发问感觉像有了屠龙刀,但还没掌握对应的功法,他带给我们的回答只是用屠龙刀在砍树,整理问题思路的时间,以刚入门的测试同学的能力都足以完成基础SQL的编写。

4、总结

想要让chatGPT产出有效的回答,而不是对你say sorry需要遵循以下四个原则:

  • 提问清晰:尽可能清晰的、完整的描述问题
  • 简明扼要:尽量使用简单的语言和简洁的句子来表达问题,目前很多免费插件对描述字数都有限制
  • 单一提问:请一个一个的问,而不是把所有问题放在一个问题
  • 不要提供敏感信息:不要在问题中提供任何个人敏感信息

从上述实践可以看到,GPT会帮助你实现一些细节和底层,开发过程我们需要更加注重表层应用和交互使用,日常中有不错的点子和设计,但是没足够的时间去亲力亲为的实现,大量的重复建设代码在浪费自己的精力,有了GPT理论上可以短时间内实现爆炸输出。在测试流程的应用,目前我还在初步探索阶段,是否能对团队测试工作提效,还需要进一步的研究,后续会陆续补充,欢迎大家线上线下随时交流。

作者:京东物流 刘红妍

来源:京东云开发者社区 自猿其说Tech 转载请注明来源

你可能感兴趣的:(人工智能,测试,chatgpt,测试,人工智能)