什么？70 位顶尖测试工程师被 AI 击败（上）

原文作者：Jason Arbon

译者：泰斯特

前言

AI 已经可以在国际象棋、围棋、智力问答中击败人类，最近我发现 AI 甚至可以在测试工程师最擅长的领域 - 软件测试 中击败人类。我花了非常多的时间和精力去研究如何让机器使用神经网络、聚类、或者强化学习技术去执行测试用例，这是一项非常繁重的工作。不过从某种程度上这也是相对重复的工作。既然 AI 已经可以在城市中驾驶汽车和玩网络游戏，AI 也应该可以帮助我们执行那么一两个测试用例。

正文

测试工程师的饭碗能否保住？

不断地有测试人员问我他们的饭碗是否还保得住，而我通常会给予肯定的回答。为什么呢，有如下 3 点原因。

• 实际的测试用例还是需要测试人员编写，AI 只是帮助我们去执行用例。
• 当我被问到这些问题时，我周围通常站了 50 - 1000 个测试工程师，我怕被打死。
• 在很长一段时间内，部分领域的测试是无法用机器代替人类去衡量的，特别是对软件定性的质量评估。

某些定性的质量评估：这个软件有多好用？这个软件看起来怎么样？这个承载服务的界面可以让用户有依赖感吗？就算是我们专业的测试人员，包括我，有时候也会对某些质量评估标准感到困惑，所以如果我们去专精这些领域，我们的饭碗当然是可以保住的。

来一次人机对战

我曾共同举办了一场专门为测试人员开设的教学课程，教学的内容是 AI 和机器学习。当时教室里一共有 70 位学员，这些学员可不是刚刚入门测试的菜鸟，他们都是专业的测试工程师，否则他们公司也不会支付昂贵的费用派他们来我这里接受为期一周的培训。而且这些测试人员也是有相当的自信才会来这里学习 AI 和机器学习，他们都是非常棒的测试工程师。

我当时在课堂上问了他们一个定性的测试问题（当然现在也在问你）：

如果你正在查看一个登录页面，那么如何确定登录页面是否可信？ 你如何评价页面的可信度？

可以先头脑风暴一波......

sample-of-least-trusted.png

再花点时间看一看上方的例子，你有什么想法了吗？

测试专家们的挑战结果

当时教室内的其他 70 个人也在思考这个问题，没有人马上举手给出答案，房间内不停地传出一阵阵思索的声音。照顾到大家从零开始思考并不是一件容易的事，我说我本来也不知道如何作答，并鼓励大家继续思考。在 70 名顶尖测试工程师集体思考了三分多钟后，我们终于有了一个好的开头。前排的一位测试媛大胆地说出了她的想法：“外语”。如果登录页面的应用属于美国应用商店但其中包含了一些非英文的单词，用户就会不太明白这个页面到底想告诉他们什么，那么该页面就不太会被用户所信任。

又过了一阵子，第二只手终于举了起来，这位举手的勇士表示如果登录页面上存在一些比较著名的商标或企业名称，那么这个页面可能更被用户所信任。如果用户发现登录页上存在谷歌或者微软的商标，那么比起其他的页面，这个页面将更有可能被用户所信赖。如果这个页面上的商标用户连听都没听说过，那么这个页面将不那么可信。

在本次头脑风暴上，我们大概消耗了 70 * 5 分钟的人类计算耗时。这差不多是测试行业最顶尖人才 6 小时的脑力。但目前为止，我们并没有得出一种有效的方法去给登录页面的信赖度打分，我们仅仅讨论出可能会对信赖度产生影响的 2 个关键点。

AI 的挑战结果

好的，我们人类已经在这道题上超时。因为随着时间的推移，我们只会变得越来越举棋不定、没有耐心、觉得无聊。那么 AI 在这道题上的表现究竟如何呢......

点击查看下文