软件测试理论基础知识（三）——测试自动化

一.测试自动化的内涵

（1）手工测试的局限性

• 通过手工测试无法做到覆盖所有代码路径;
• 许多与时序、死锁、资源冲突、多线程等有关的错误通过手工测试很难捕捉到
• 在系统负载、性能测试时，需要模拟大量数据、或大量并发用户等各种应用场合时，也很难通过手工测试来进行
• 在进行系统可靠性时，需要模拟系统运行十年、几十年，以验证系统能否稳定运行，也是手工测试无法模拟的。
• 如果有大量（几千）的测试用例，需要在短时间内完成，手工测试无法做到
• 测试可以发现错误，并不能表明程序的正确性。
• 代码全部Code Path测试覆盖也几乎不可能
• 测试所有可能情况将遭遇“组合爆炸”问题

（2）测试自动化的定义

1. 自动化测试（automated test）是相对手工测试而存在的一个概念，由手工逐个地运行测试用例的操作过程被测试工具自动执行的过程所代替。测试工具的使用是自动化测试的主要特征。
2. 自动化测试：焦点集中在测试执行，主要是由测试工具自动地完成测试。
3. 测试自动化：指“一切可以由计算机系统自动完成的测试任务都已经由计算机系统或软件工具、程序来承担并自动执行”
4. 软件测试自动化的优势

（3）自动运行的速度快，是手工无法相比的；

• 测试结果准确。例如搜索用时即便是0.33秒或0.24秒，系统都会发现问题，不会忽视任何差异；
• 高复用性。一旦完成所用的测试脚本，可以一劳永逸运行很多遍；
• 永不疲劳 、可靠 ；
• 独特的能力测试周期缩短；
• 更高质量的产品；
• 软件过程更规范；
• 节省人力资源和硬件资源，降低企业成本。

（4）但是测试自动化并不能完全替代手工测试和手工测试工程师；

          无法保证100%的测试覆盖率；不能弥补测试实践的不足。

二.测试自动化实现的原理

• 代码分析: 类似于高级编译系统，在工具中定义类/对象/函数/变量等定义规则、语法规则等，在分析时对代码进行语法扫描，找出不符合编码规范的地方。　　
• 捕获和回放: 代码分析是一种白盒测试的自动化方法，捕获和回放则是一种黑盒测试的自动化方法。
• 直接编写脚本来操作、控制、验证对象：包括对象识别、脚本技术、对运行结果进行比较

脚本技术

1. 线性脚本，是录制手工执行的测试用例得到的脚本，这种脚本包含所有的击键、移动、输入数据等，所有录制的测试用例都可以得到完整的回放
2. 结构化脚本，类似于结构化程序设计，具有各种逻辑结构、函数调用功能
3. 数据驱动脚本，将测试输入存储在独立的（数据）文件中，而不是存储在脚本中

三.测试自动化的实施

  1、测试工具的分类

• 根据测试方法不同，分为白盒测试工具和黑盒测试工具、静态测试工具和动态测试工具等。
• 根据工具的来源不同，分为开源测试工具（多数是免费的）和商业测试工具、自主开发的测试工具和第三方测试工具等。
• 根据测试的对象和目的，分为单元测试工具、功能测试工具、性能测试工具、测试管理工具等
• 静态测试工具：扫描分析：Findbugs, JTest/C++Test、规则定义
• 动态测试工具：内存检测工具、录制/回放工具、负载测试工具、 监控工具

2、测试自动化的基本结构

3、自动化功能测试基本步骤

• 录制测试脚本——>对象识别
• 编辑测试脚本——>加验证点、优化脚本
• 调试脚本
• 执行——>验证
• 结果分析——>确定缺陷

4、功能测试工具特性

• 支持（多种）流行脚本语言
• 能引用外部的脚本/编程语言函数库。
• 支持录制和回放的功能。
• 提供对象识别工具（Object Spy），用来查看实时对象或测试对象的属性和方法。
• 支持多种方法来识别对象
• 支持抽象层和对象库（Object Repository）
• 支持数据驱动测试（Data-Driven Test）
• 关键字驱动测试（Keyword-Driven Test）
• 脚本编辑器支持两种视图——专家（Expert）模式和关键字模式。
• 支持描述性编程
• 支持各种类型的验证点，并可以自动引入检查点来验证应用的属性和功能点
• 设置环境变量，从而使一个测试任务中所有动作共享
• 错误现场恢复（Recovery Scenario）
• 测试结果有多种状态
• 提供调试环境
• 对外提供了大量的API和对象

  5、自动化测试框架

    Harness/IDE、script Language、Agents、Tools、Scheduler、Report

  6、TA 框架提供的服务及流行的TA框架

服务：测试件的存储与管理、测试脚本开发调试（TIDE）、测试机/资源的管理、任务安排、测试执行启动与调度、系统监控、Log收集、测试结果分析、测试报告查询

流行的框架：

• xUnit, OCUnit /GHUnit
• SWTbot, MarathonITE
• Eclipse TPTP（单元性能）
• STAF + STAX
• Selenium + Webdriver
• Selenium + JUnit/TestNG

  7、Selenmiu框架

应用：适合Web应用的测试，可直接运行在浏览器之上，所见即所得；跨平台，支持多操作系统和多种浏览器；支持分布式应用的测试，构造一个完整的解决方案；支持两种开发脚本的模式test runner （HTML文件）和 driven（脚本语言编写）；支持多种脚本语言，包括Java、C#、PHP、Perl、Python 和 Ruby等

  8、Android 及IOS TA框架

• Android：Robotium、 MonkeyRunner、Robolectric、LessPainful、  ATAF、UIAutomator；
• IOS：Anteater, Frank/Cucumber, KIF, TouchTest, UI Automation, Zucchini
• IOS & Android TA 框架：Calabash,MonkeyTalk, Nativedriver, Selenium, Ranorex

  9、支持原生、混合及Web应用测试的Appium

• 可用于实际设备或模拟器/仿真器
• 用一个脚本测试iOS应用和Android应用
• 移动Web应用通常需要一个独立的测试脚本
• 与Apple/Android的UiAutomator框架进行交互
• Appium使用Selenium WebDriver API发送测试命令