数十位行业高管讲述：自动化测试优势及解决的现实问题

众所周知，测试的技能要求不再简单，自动化测试作为软件测试的主流发展方向。为了收集当前和未来自动化测试状态的见解，我们询问了来自27家公司的31位高管，“自动化测试解决了哪些现实问题？” 这是他们告诉我们的：

受访者

• 公关公司首席执行官Gil Sever和 Applitools首席营销官 James Lamberti
• 首席运营官Shailesh Rao和 BrowserStack高级产品经理 Kalpesh Doshi
• Aruna Ravichandran，CA Technologies的 DevOps产品和解决方案营销副总裁
• Pete Chestna，CA Veracode开发人员参与总监
• Julian Dunn，产品营销总监， 厨师
• CloudBees质量工程经理 Isa Vilacides
• 电气云首席技术官 Anders Wallgren
• 安迪网络安全应用安全高级经理 Kevin Fealey
• 质量保证经理Hameetha Ahamed和 FileCloud首席营销官 Amar Kanagaraj
• Charles Kendrick，Isomorphic Software首席技术官
• Adam Zimman，LaunchDarkly产品副总裁
• 首席执行官兼联合创始人Jon Dahl和 Mux高级工程师 Matt Ward
• Pensa首席执行官 Tom Joyce
• Roo Carmel，Perfecto Mobile首席营销和企业战略官
• Aimeter Bareket，Perimeter 81的首席执行官兼联合创始人
• 产品营销总监Jeff Keyes和 Plutora首席营销官 Bob Davis
• Ranorex董事总经理 Christoph Preschern
• 热带雨林QA首席信息官 Derek Choy
• Lubos Parobek，Sauce Labs产品副总裁
• Walter O'Brien，Scorpion计算机服务公司首席执行官兼创始人
• SigOpt首席执行官兼联合创始人 Scott Clark博士
• SmartBear产品经理 Prashant Mohan
• SysAid Technologies首席执行官 Sarah Lahav
• 茄子首席技术官 Antony Edwards
• Wayne Ariola，首席营销官， Tricentis
• WhiteHat Security首席科学家 Eric Sheridan
• Roman Shaposhnik，Zededa联合创始人产品和战略副总裁

优点

• 简而言之，自动化测试对于1）节省时间非常宝贵- 因为测试全天候自动运行; 2）报告 - 我们获得每日见解; 3）一致性和准确性：手动测试周期可能导致错误，而自动化测试每次都能获得准确的结果; 4）省钱 ; 5）减少资源，例如手动测试人员; 6）全覆盖测试。
• 1） 管道的一般转换，从每年发布一次到每年17-20次。 解决测试和QA瓶颈问题。我们与客户合作，通过多种测试类型的自动化来推动这些转换。2） 汽车和健康领域的下一代数字化转型，具有独特的用例，可实现自动化，测试和覆盖。该连接的汽车 是他们的＃3垂直。它可以测试从应用程序到后端服务器以及连接到后端的完整用户体验。它有益于健康从提供药物到以数字方式管理消费，并对您如何以及何时消费药物负责。我们在云中创建虚拟化患者。公司可以使用连接的设备跟踪它们。我们向移动应用报告并向患者提供可见性并向医生报告。物联网是下一代数字化转型。
• 最初的用例是自动化测试 - 固件测试5000次，线性测试耗时。我们在一系列机器上分发测试。自动化测试缩短了周期时间。它有助于在集群中运行Selenium测试的UI测试，以加速Selenium测试。 Selenium Grid是实现此目的的一种方法。
• 作为测试云平台， 我们使客户能够在各种浏览器和设备上进行测试。 我们还提供调试工具，例如如何从浏览器中提取JS控制台日志和硬件文件。我们帮助客户发现错误并快速解决。缩小规模，我们的大客户每天都要运行数万次测试，并且可能会被信息和数据所淹没。我们引入了分析来对数据进行排序，以找出瓶颈和错误的根本原因。更成熟的公司正在从内部Selenium网格转向迁移到云，因为他们没有他们想要的平台覆盖范围 - 测试Mac，Safari和iOS。如何获得更好的报道。很难用常绿浏览器维护。我们为他们这样做。每天数千次测试的错误率。硒可能是一个棘手的协议。不想花费所有时间来追逐错误。提高速度。我们对每次拉力测试或提交进行测试，因此，我们需要站起来100个节点，以便更快地向开发人员提供反馈。如果你没有网格，你需要进入CI的世界。花更多时间在最佳实践上 - 测试编写和框架 - 如果您没有专业知识来采用测试框架并以高水平的并行性进行优化。
• 传统安全团队无法在DevOps世界中扩展。 自动 安全 测试是允许这些团队扩展的关键。 安全团队需要与开发人员密切合作，但这种沟通方式必须通过自动化测试。那些在开发生命周期内直接利用自动安全测试的安全团队有更强的能力与Agile和DevOps开发商店保持同步。
• 自动化测试使您可以更自信地 提供修复和功能。因此，它加速了开发并允许更快地推出新版本 - 这对基本上每个行业都有影响，从生物技术到国防。
• 必须验证涉及大量数据的复杂方案时，自动化测试至关重要 。 例如，我们有一位 航空公司 客户使用我们的软件来确保他们的网络预订系统正常运行。我们在测试用例中支持嵌套循环的能力解决了他们验证多个源和目标点的数据的独特问题。我们有另一位客户正在使用我们的解决方案来测试控制手持式医疗设备的移动应用程序 。他们的应用必须完美运行，因此100％的测试覆盖率至关重要。自动化测试可帮助他们提供高质量的产品。
• 我们通过自动化测试从单片微服务转向 大规模微服务。您必须这样做才能扩展和沟通。我们在日常工作环境中使用它。每一段进行测试的代码都有90％的代码覆盖率。
• 1）向左移动 - 一个拥有大型QA团队的客户端最终用于执行测试。一旦他们意识到需要尽早测试，他们就会在编写应用程序代码时开始编写测试。QA团队成为工程团队的一员。核心测试在SDLC的早期进行。我们**能够更快地发布（50％）并且代码质量自动提高，并且由于在周期早期发现错误而导致成本下降。 **
• 公司的增值正在 帮助客户成为云原生开发者。专注于业务逻辑，以开辟更广泛的测试可能性。采用业务逻辑并在具有单元测试框架的模拟环境中运行。嵌入式测试看起来像J2EE测试。可以使用所有传统的Java测试框架。
• 1）跨浏览器测试，2）跨设备测试，3）回归测试UI / UX，4）本地化测试 - 确保以所有语言进行测试。 在微服务和操作系统发生变化的动态技术领域，扩展测试，扩展到后期制作 - 监控和持续测试。通过全天候监控，我们帮助公司克服这个问题。
• 如果对软件测试、接口测试、自动化测试、性能测试、LR脚本开发、面试经验交流。感兴趣可以175317069，群内会有不定期的发放免费的资料链接，这些资料都是从各个技术网站搜集、整理出来的，如果你有好的学习资料可以私聊发我，我会注明出处之后分享给大家。
• DevOps和敏捷实践测试人员被认为是有价值的。 我们为质量保证团队提供见解，因此他们可以影响从开始到生产的质量。 查看分析，了解错误或人员对质量的负面影响。我们为他们提供了一个空间，因为我们从自动化和测试工具中收集指标，并提供整体分析，以尽早提高质量。我们提供需求可追溯性矩阵 - 有效和无效的热图。从逻辑的角度看待覆盖范围。这个处理要求很复杂，并且有很多错误。提供覆盖的智能概念。
• 在发布之前，测试正在运行，通常会遇到很多复杂的代码级错误。使用双因素身份验证代码破坏了用户登录。自动测试捕获的 错误，并在发布之前修复。在另一个案例中，公共共享链接被打破。从长到短的URL被更改了。两者都是通过自动化测试捕获的
• 使用脚本技术，您无法管理对测试脚本的更改。在敏捷或DevOps进程的频率和节奏。可以用一个sprint来做两个或三个sprint来执行测试。 使用基于模型的方法，您可以实时更改和执行更改，因为它是无代码的。 具有测试基础结构的客户端接近其应用程序的三倍代码。由于您正在使用代码行，因此必须通过更改脚本来跟上更改的代码。我们使用抽象模型更新代码。
• 真实世界的问题包括能够确保您在开发过程中实际运行测试，并确保您不会错过它们或跳过它们。 现代自动化测试具有代码清洁等优点。 它实际上可以评估语法。它可以验证注释以确保注释实际插入代码中。它可以确保您实际上在代码库中实现良好的开发实践和良好的编码实践。自动化测试更多的是测试已经构建或已经签入的代码，而不是正在运行的代码。以前，你不能把责任归还给开发者。这是过去几年中自动化测试真正改变的另一件事 - 自动化测试现在将更多的测试责任放在开发人员自己身上，而不是这个独立且独特的QA或QE团队。这就是许多正在转变为持续交付模式的团队所发生的事情。大多数人从瀑布到敏捷到持续交付 - 他们的任务实际上变得不同，因为测试本身已集成到您的代码签入过程中。转换所暗示的一点是，您并不真正需要此质量保证或质量工程组织，或者您没有以相同的方式利用它们。

工业

• 对于金融服务和医疗保健等高度监管行业的公司而言，更快，更安全的结果是 使用持续测试来指出需要培训以获得速度的地方。
• 自动化测试使客户能够检查健康状况的正确性 - 医疗保健公司 每隔15到20分钟运行一次。病毒扫描程序停止工作 - 无声地失败。第二天早上，Ops能够看到问题所在，而不是三到四个月。一位客户正在使用工具来满足审计要求。它提供数据点和响应查询的能力以及可导致合规性上升或下降的可追溯性。
• 我们有一个新的 视频播放器，新的iOS，15％的错误率。它如何初始化播放器有一个简单的错误。它减少到不到百分之一。
• 零售，银行和保险等电子商务公司拥有产品或服务目录。网站是动态的，个性化的，并且可以从世界各地访问。客户需要在他们的店面上进行快速测试。正在对网站进行快速和定期的更改。其他人则拥有 移动应用程序，航空公司，银行，客户需要使用的应用程序，以确保在各种设备上进行测试以了解功能的工作原理。测试设备的功能。拥有移动应用的Tech公司可以运作 Twitter 是一个大客户。
• 一家大型电信公司正在使用AI来解决测试问题。 2号门的承包商必须返回3号门，以确定要测试的测试脚本数量以及需要批准的FTE数量。我们给了他一种自动生成模型的方法，他可以指定相对于模型的测试，并且他可以自己进行测试，因为一切都是自动化的。他的边缘经过了屋顶。
• Rabobank在荷兰 - 500个分支机构，使用敏捷需求设计师实现测试用例自动化的巨大价值。效率提高30％。金融服务在测试脚本创建方面减少了70％。Auto Trader将整合时间从三天缩短到三小时。他们节省了567个工时，或每个版本2.5个人，并避免了300,000美元的测试硬件和软件成本。他们将缺陷减少了25％。使用我们的连续测试平台与 电子商务零售商合同推出新的Rhianna生产线 两个月准备促销和最终设计，五天进行负载测试。基于SaaS的平台以10倍的速度进行了测试，在Rhianna发布有关该产品的推文后，该网站的处理时间超过18小时。
• 我们与联邦政府合作， 并覆盖其遗留系统，以识别潜在的漏洞。
• 诺基亚 接到客户，网络服务提供商，北美所有蜂窝电话塔（200,000）的电话，下面有硬件来管理无线传输。有时他们需要更新从4G到5G。我们需要更新解决方案以在部署之前满足需求测试，然后在现场进行监控。设计，验证，构建，部署。
• 算法交易公司。在构建完全自动化的CI / CD管道流程时，他们将使用Jenkins嵌入我们的解决方案并成为生态系统的一部分，因此在签入代码时，它可以转移到测试并决定他们想要运行哪个测试。结果在30分钟内。它被反馈到CI / CD工具中以确定下一步是什么。如果它没有通过，该工具会将代码推送到错误跟踪系统JIRA，然后将其发送回开发人员，然后重新测试失败的内容。完全集成到CI / CD中。
• 金融服务将应用程序 应用于API，以更快地发布行为驱动的设计框架。有一个模板化的测试开发人员可以编写以涵盖安全性。

其他

• 通常，编写代码更改的自动化测试所花费的时间多于自己进行更改所需的时间，因此在编写测试时可能很难获得支持。但是，自动化测试可以为您提供：1）更频繁，更快速，可重复且可靠的测试运行。这是因为一旦测试自动化，运行它的成本是最低的。除此之外，自动化测试不容易因人为错误而导致失败。2）持续反馈，从而对您的代码更改充满信心。这样可以实现更长的交付周期，并使团队能够实现持续集成和交付。3）正如Martin Fowler所说，“如果有什么事情会受到伤害，那就更频繁地去做”。由于几个因素，自动化测试可能会出现片状，其中一个因素是产品不够耐用。拥有编写自动化测试的文化将使您的代码更易于测试。