说起嵌入式软件测试,我们先快速了解一下嵌入式软件自身的特点。嵌入式软件具有实时性、内存空间有限、I/O通道少,而且要求功耗低、高可靠性,对成本也比较敏感,和硬件关联性强等特点。因此,嵌入式软件的测试与一般商用软件的测试有较大的区别。
嵌入式软件开发和运行的环境完全不一样,是分开的,开发在Windows/Mac OS桌面客户端(宿主机环境)上进行,而运行的环境是在目标机环境上,即一般是基于Linux/Android内核开发的嵌入式操作系统或像RT-thread那样的实时操作系统,支持ARM CPU、 MCU 和 蓝牙芯片等低功耗的关键硬件。
嵌入式软件的单元测试一般在宿主机环境下进行,只是在个别情况下(如目标机编译器可能有缺陷)会要求在目标机环境下进行,所以在单元测试上,嵌入式软件和一般商用软件的之间差别比较小。不过,嵌入式软件的单元测试对代码的质量要求比较高,一般要求达到MC/DC覆盖率。
嵌入式软件的集成测试,一般指与目标机的硬件环境集成,也可以和仿真环境集成,这时需要做相应的硬件兼容性测试。 但到了系统测试、配置项测试或确认测试,一般就会在目标机环境下执行,这时和一般商用软件的测试有较大的差别。
由于嵌入式系统的实时性,其测试应充分考虑系统实时响应的问题,其响应时间一般要求在毫秒级别,其对应的负载测试少不了。在对目标机进行测试时,一般需要对在宿主机上编译通过的代码进行插桩处理。
这样可以在目标机执行程序的时候,将插桩时预测好的数据返回到宿主机上进行分析,因此,宿主机和目标机之间的数据传输也要认真对待。
除此之外,我们需要制定符合系统需求的可靠性级别和安全级别,进行相应的可靠性测试和安全性测试。嵌入式软件测试工具,开源工具比较少,多数是商业工具,而且往往成套,覆盖系统功能、性能分析和安全性测试。
俗话说:“工欲善其事必先利其器。”想要实现软件自动化测试,首先就要有测试工具,为大家推荐几款常用的或好用测试工具:
ETest Studio
一款国产化黑盒测试工具,可以做配置项测试和系统测试,包括测试资源管理、环境描述、接口协议定义、用例设计、实时数据监控、测试任务管理等功能。
Klocwork
Klocwork是一款支持百万行甚至千万行以上的C/C++/Java/JS/C#代码质量静态检测工具。
利用领先的深度数据流分析技术,静态地跨类、跨文件地查找软件运行时缺陷、错误和安全漏洞,并准确定位错误发生的代码堆栈路径。
Hitex TESSY
Tessy 源自戴姆勒- 奔驰公司的软件技术实验室,由德国Hitex 公司负责全球销售及技术支持服务,是一款专门针对基于C/C++开发的嵌入式软件进行单元/ 集成测试的工具。
Tessy 也可以满足各类标准( 如ISO26262、IEC61508、EN 50128/50129 等)对测试的需求,而工具自身也通过了TUV 的认证,证明该软件是安全可靠的。
主要功能有:
Rapita Verification Suite (RVS)
RVS是一套面向嵌入式软件的测试工具集,支持MC/DC覆盖率分析,满足DO-178C和ISO 26262认证要求。
其中RapiTest具有易于编写和易于审查但功能丰富的测试格式,以及创建多线程测试和测试代码元素(如泛型和私有类型)的能力(无需编写源代码)。
Squish
Froglogic公司的Squish是广受欢迎的跨平台、多技术融合的GUI 测试工具,尤其是对如下应用提供专业和全面的支持:Qt、Java GUIs、Web、Linux、Windows、IOS和android等。
Squish支持BDD、数据驱动、 分布式批量测试和视觉验证等,识别自定义的控件或2D/3D图像,支持多种脚本语言:Python、Perl、JavaScript、Ruby和Tcl,平台有两大产品:
DT10
DT10(Dynamic Test Tool DT10 )是一款支持C/C++, C#, Java等多种语言的软件灰盒测试和系统动态跟踪调试工具,利用领先的自动化代码插装和数据采集技术,支持对软件系统的复杂的、偶发的缺陷的回溯调试、性能测试、CPU负载分析、变量监控、逻辑分析、内存使用分析、硬件监测和分析,及覆盖率分析等灰盒测试场景。
DT10由硬件设备Dynamic Tracer和PC端软件两个主要部分组成,软件部分负责源码插装、数据处理和结果分析等,硬件部分复杂接口、信号采集和数据通讯。。强大的缺陷回溯定位能力
VectorCAST
VectorCAST是适用于嵌入式软件应用的高可靠性和高安全性软件的自动化动态测试工具链,适用于单元测试、集成测试、覆盖率分析、回归测试、静态分析、系统测试和质量分析等软件测试所涉及的各个环节。
支持C/C++和Ada语言,内建多种智能的自动化测试用例生成算法,符合多种行业认证的标准,如DO-178B/C, ISO 26262, ASPICE, IEC 61508, En 50128, IEC 62304, IEC 60880等。
流行的测试自动化工具非常大且复杂,在项目开始使用它们之前,它要求测试人员具有有关工具本身的详细技术知识。在我以前的项目中,我经常遇到诸如
可以围观我朋友圈中的一手行业消息,加入戳:http://c3v.cn/1KVJub
我们不管什么软件,无论是嵌入式还是一般传统的软件,在做自动化之前,我个人认为你先应该去分析整个软件的架构,是否合适自动化。
因为一般情况下自动化测试最好的就是在多次频繁迭代的时候,像很多互联网的软件迭代周期比较快,甚至有些节奏特别快的企业都有单双周迭代,每一次迭代之后,测试员不得不把以前的老功能重复去执行一次这时候,这个时候引入自动化测试,我们也会大大降低了成本。
这样投入与产出比最高!!!
还有一个稳定的项目,很多业务已经趋于稳定的时候,我们这个时候部分变动不频繁的功能实现自动化,也会大大的降低了时间成本。
当你已经对手动测试的所有过程都了如指掌,且把各个子过程都实现了。这时候你可以考虑全自动化了。学习一个自动化框架,然后把自己的积木填装进框架里。然后再调试下框架,一个无人值守一键程序就出来了。
以上是整个过程的大致步骤,具体怎么做,你需要自己摸索出来。如果你从零开始,就从做个小工具开始,把工作中的一部分半自动化吧。