移动终端软件测试基础知识

　　1）定制终端评测趋势

　　● 定制终端评测

　　　　→ 硬件：射频一致性、协议一致性、无线资源管理、硬件元器件、WLAN是当前硬件测试主要内容

　　　　→ 软件：操作系统测试、浏览器测试、移动应用测试、Widget测试当软件测试重点，内容逐渐由功能向非功能演进

　　● 预装在定制终端的移动应用评测

　　　　→ 功能、性能、稳定性、兼容性

　　　　→ 用户体验、隐私安全

　　● 终端和移动应用评测自动化工具越来越成熟

　　● 终端及其应用的性能、稳定性评测将成为入库重要依据

　　● 用户体验评测将成为不可或缺的组成部分

　　2）三大智能终端平台差异

　　以智能终端操作系统为基础，结合多种基础中间件、业务中间件、通信中间件来实现对应用的支撑。其中应用又可分为本地应用和Web应用两类。本地应用体系以iOS+App Store+NativeApp为代表，Web应用以HTML5/Widget+Web Store+Web App为代表

　　以iOS/WP7为代表的系统闭源/封闭文件管理系统/接口开放模式

　　以oPhone OS/WM为代表，系统闭源/开放文件管理系统和接口模式

　　以Android/Meego/WebOS/WinCE为代表系统开源/开放文件管理系统和接口模式

　　3）互联网应用测试的复杂因素

　　传统的测试方法是暴力的、疯狂的、相当麻烦的。

　　● 全球多达十亿两千万mobile web用户

　　● 74%的人将无法容忍超过5s的页面加载时间

　　● Gartner 预测，至2014年超过90%企业级应用将支持智能终端版本

　　● 据统计，智能机上移动应用软件所引发的无线流量是非智能机10倍以上，美、英、德、日运营商都曾出现信令风暴导致的通信网瘫痪

　　● 截至2011年Q3的统计，Android操作系统出现7个版本，覆盖130个机型，每个机型超过2家硬件参考设计。光从终端适配角度看，若实现完整的测试覆盖，需完成1820次回归测试。倘若无法借鉴自动化测试工具，几乎是无法完成的任务

　　终端

　　● 操作系统平台、机型、屏幕分辨率、驱动差异等

　　网络

　　● 地域、制式、通信业务、网络优化程度、漫游等差别

　　自动化测试脚本

　　● 因平台、菜单风格不同，模拟客户端或自动化脚无法复用

　　移动应用客户端性能测试面临的困难

　　● 支持除支持http(s)协议外，普遍存在定制协议

　　● 整个应用链关联的对象复杂，如web service第三方内容、CDN内容分发

　　● 缺乏测试过程中数据收集、监控和诊断工具

　　● 缺乏客户端模拟并发工具，压力/负载测试工具需重新选择

　　4）测试

　　从互联网应用软件质量角度看，其主要的质量要求列举如下：

　　● 功能性：终端上移动应用功能越来越复杂，测试难度、周期和工作量逐步加大，测试成本快速上升

　　● 稳定性：用户使用移动应用时，与终端的电话、短信、浏览器等背景业务经常产生功能交互，增加了移动应用的不稳定性

　　● 可维护性：用户越来越关注应用业务的用户体验，在应用上线后需要持续对业务运营质量进行测试和监控

　　● 性能：终端上移动应用与终端、网络和服务的性能都有关系，性能遭遇瓶颈时，定位需围绕应用关联的整个链路来开展，导致应用业务优化的成本在不断提高

　　从用户角度看，测试重点列举如下：

测试类型	描述	测试场景重点	判断依据
功能测试	基本功能测试新功能测试重点功能测试全量测试网络或业务功能拨测 J2ME、Sybian signed等规范符合性测试	菜单路径功能点界面与操作流程（通信）业务功能角色权限等	是否可用
性能测试	基准性能性能指标测试/多地域性能拨测性能对标测试专项性能测试：时延测试、流量测试、功耗测试、触控测试	对被测对象功耗、时延、响应时间、连接成功率、并发用户数等核心性能指标进行测试	是否可用，且收集指标值
兼容性测试	mobile apps（手机客户端）实质为终端适配性测试 mobile web（web客户端）实质为浏览器兼容性测试 pc客户端端实质为与主流用户操作系统兼容性测试	终端适配：与不同分辨率、不同操作系统平台版本、不同定制终端的兼容性浏览器兼容：html5兼容；浏览器引擎兼容 pc客户端兼容：主流windows桌面和linux桌面系统兼容性	是否兼容
稳定性测试	极限负荷下稳定性基准，表征为持续无故障时间有多长	基本功能反复多次基本功能长时间持续执行	成功率，且收集指标值
安全性测试	黑盒安全性测试，采用模糊数据对被测对象进行攻击测试的手段	访问限制、应用程序签名、恶意程序安全、权限命名机制、协议通信安全和用户数据隐私安全	是否安全