持续测试成熟度

image.png

Level 1 初始

在初始态，测试用例数还是最为关键的度量指标。测试工程师对测试用例设计主要是凭直觉，对测试用例有效性评价比较主观。测试活动主要靠手工测试完成，有少部分测试代码实现的自动化测试，这些自动化测试用例因为没有及时随着伴随系统变更而变更，因此绝大部分是失效状态。每次执行测试用例前，测试工程师都要人工维护测试数据，才能保证测试用例正确执行。

• 达到Level 1 预期的效率增益：1.3倍

Level 2 敏捷

能够基于风险进行测试，风险覆盖率现在是测试的关键指标。自动化测试聚焦在UI层，但是自动化测试可以通过MBT、UI脚本生成等技术降低自动化测试用例执行的失效比例了。由于测试数据仍旧没有一个全面的TDM（Test Data Mangement），自动化测试仍旧聚焦于新数据对象的验证，对于复杂测试用例管理还是缺失状态。

• 达到Level 2预期的效率增益：3倍

Level 3 可管理

引入探索测试实践弥补规范化的测试流程无法暴露的缺陷。在自动化测试引入质量保障流程中。如果系统变更以API形式交付，那么API测试就会在发挥质量保障的主导作用。UI自动化测试广泛落地MBT、UI测试脚本自动生成等技术，提高质量效能。自动化测试通过持续集成流水线调用，实现质效合一。

• 达到Level 3 预期的效率增益：6倍

Level 4 成熟

TDM能够提供自动化测试需要的、连续的、一致的测试数据。 服务虚拟化确保即使依赖组件不稳定或不可用，测试也可以继续进行。 TDM 和服务虚拟化的引入能够支持API测试完成更为复杂的业务逻辑验证，从而实现API层面的E2E的测试，同时可以保障测试用例可以反复有效执行，而不需要维护自动化测试用例和测试数据。 自动化测试可以作为持续交付流水线的一部分反复执行，及时反馈发现的业务风险。

• 达到Level 5 预期的效率增益：大于10倍

Level 5 卓越

已经建立了全面的测试自动化，在服务虚拟化和测试数据的支持下，可以完成复杂的、有状态业务逻辑模拟。通过度量，持续改进软件测试过程的有效性。测试活动完全集成到持续交付pipeline中。

• 达到Level 1 预期的效率增益：大于20倍