上海证券交易所云平台移动行情服务测试项目

一、客户背景

上证所信息网络有限公司是由上海证券交易所(SSE)出资设立的全资子公司，是上海证券交易所证券信息独家全权经营机构。上海证券交易所是国际证监会组织、亚洲暨大洋洲交易所联合会、世界交易所联合会的成员。上海证券市场的上市公司数、上市股票数、市价总值、流通市值、证券成交总额、股票成交金额和国债成交金额等各项指标均居首位。

二、项目背景

本测试服务项目针对云平台上全真环境部署的服务端以及客户端SDK进行测试，其中SDK分为IOS和Android两个版本。测试内容包括功能测试、适配性测试、国内及海外时延测试等，测试人员具备开发能力，根据接口文件编写代码调用相关函数并针对返回的数据进行验证，可选择离场进行，测试完成后提交相关的测试代码以及测试用例报告等。

三、项目过程 

1.测试领域新。针对上证云平台上全真环境部署的服务端以及客户端 SDK 进行测试，需要开发完整的APP且分为Android和IOS两个端。

2.测试范围广。功能测试针对Android和iOS共120个接口进行；

       时延测试使用国内6大区域4种网络环境及国外不同地区的无线网络；

       兼容性测试包括国内300种Android机型、30种IOS机型、海外机型100种机型；

       自动化测试通过编写测试脚本对系统进行自动化回归测试以及日常的自动化跟帐测试。

3.数据量巨大。每天对行情、资讯数据进行跟帐测试，包括初始化阶段、集合竞价阶段、盘中、中午休市、盘后等时间节点的检查。其中单股数量4万条、每天跟踪股票30股，跟踪周期35个交易日。

在整个SDK测试和APP开发的过程中，股票数据处理量较大，图标形式多样，算法复杂；测试过程中，涉及八百余条测试用例，包括功能、性能、数据准确性、稳定性、兼容性、传输时延等多方面的测试，其中每日跟帐测试涉及数据最多，每日对比数据级别上百万条。

四、项目结果

该项目于2016年12月初开始参与，经过多轮的考核与比较，凭借具备基础软件测试能力移动应用测试开发能力，深厚的金融业务基础，优秀的测试方案胜出。项目一期成功完成，于2017年5月下旬成功交付全部测试结果。 

客户评价

服务专业，能够充分理解需求，并且站在用户的角度制定全面的测试策略和合理的测试方案，为我们提供了优质的开发测试服务，针对产品提出了较优秀的建议和优化点。

 

 

 

第三方独立测试——智慧昆山 

 

智慧昆山是以“数据集中、资源共享、高效便民”为宗旨的市民公共服务平台。市民可以通过下载安装手机客户端软件，获取新闻资讯、交通出行、政务公开、医疗教育、文化娱乐、人才服务、城市管理等本地化公共信息及一站式互动服务。其中各接口提供了该手机客户端服务的优质体验，客户要求接口支撑高达5000用户并发的高性能指标。

测试核心理念：

1、 通过用户体验角度针对APP应用进行全面功能测试覆盖；

2、 通过对客户关注的、用户常用模块接口进行压力测试，寻找性能瓶颈，提供程序优化解决方案。

测试方案概述：

基于移动应用测试最大特点(覆盖范围广、测试机型多)，功能测试过程中采用敏捷测试方法，将手工测试与工具测试完美结合；使用robotium录制app操作，用spoon包做截图与回传处理，多线程执行，测试不同手机的兼容性，统一收集结果

模拟真实业务场景以及并发用户数，对APP应用各模块（公交车模块、自行车模块、民生模块、天气查询模块等）共13个接口进行多场景并发用户数压力测试，并根据测试结果，评估应用整体性能。

针对每个接口的不同并发场景进行测试的同时，对数据库服务器、应用服务器的CPU利用率、内存使用率等指标进行实时监控，并设定频率收集服务器CPU、内存、I/O等性能指标，形成分析文档，分析性能瓶颈、发展趋势，进而得出应用的性能是否满足现阶段的要求，提供为满足业务要求需要进行的系统设计及代码优化方案。

测试方案价值：

1、 从用户视角出发，提高用户体验感；

2、 测试效率提高，测试周期缩短；

3、 定量分析性能实现，以数字说话；

4、 提供性能调优解决方案。

测试方案：

服务器资源监控指标

 

压力测试工具结果分析指标

 

功能兼容性测试统计结果

 

 

  

第三方独立测试——用友U8性能测试

 

用友U8政务系统率先实现了从ERP到“软件+云服务”的跨越，用先进技术为成长型企业构建出集“精细管理、产业链协同、云服务”为一体的管理与电子商务平台。通过“软件+云服务”的模式，U8+可以让企业管理者管理更轻松、经营更敏捷、决策更智慧、协同更紧密、应用更时尚。

应用核心理念：

继承和发扬助力企业精细管理特质的同时，为支持企业商业模式变革及企业整个上下游产业链经营协同带来革命性的变化。

测试方案概述：

通过录制编写HTTP协议脚本，使用虚拟用户创建基准测试、单场景测试、混合场景测试模拟真实用户对系统的请求操作，主要针对业务系统两大业务类型——财政、财务中具有代表性的多种业务类型，发起操作流程完成对被测系统的加压，监控并记录被测系统的响应能力，各服务器的资源使用情况，获取响应时间、吞吐率、事务成功率等各项性能指标，并根据测试结果分析系统的性能瓶颈，评估系统的整体性能。

测试方案价值：

1、 场景设计全面且贴近真实使用场景；

2、 测试中心专家全程指导，全方位分析性能瓶颈，权威可信赖。

测试方案：

单场景设计用例

 

混合场景用例设计

 

系统平均响应时间

 

平均每秒请求数

 

 

 

移动金融产品测试——锦州银行“即时贷” 

 

锦州银行“即时贷”APP产品，面向城市商业银行/农信社打造全流程线上即时贷款模式，满足小微企业用款频急，三农客户地处偏远特点，实现贷款业务当面办理、即时到账，解决小微企业及三农服务的最后一公里问题。

测试形式：

1、 针对APP产品进行主流手机机型兼容性测试；

2、 针对移动金融产品进行全面安全性测试；

3、 针对APP产品进行移动应用专项性能测试。

测试方案概述：

1、针对移动应用APP产品，受众范围广、设备载体类型及型号多的特点，对移动应用APP产品进行全功能兼容性测试，挑选国内主流手机品牌（华为、三星、小米、魅族、VIVO、OPPO等），针对主流手机品牌下不同型号、不同系统版本、不同分辨率的300款手机进行APP的安装、功能使用、卸载测试，同时可收集每款手机在APP运行过程中的流量消耗、电量消耗、CPU及内存占用情况等信息。

兼容性测试机型信息

 

问题等级说明

 

2、针对金融产品安全性高要求的特点，对移动金融产品（移动办贷APP、移动租赁APP、互联网金融理财APP等）进行全面的安全性扫描，统计问题类型、有漏洞的URL，提出安全风险以及产生安全问题的原因，并给予详细的修订建议。

安全性测试问题类型汇总

 

SQL盲注类问题详细信息

 

针对安全问题的建议解决方案

 

3、针对APP应用在使用过程中，消耗手机性能的特点，针对APP使用进行APP应用专项流量、电量、启用耗时、CPU及内存占用率等情况进行测试，统计各机型性能消耗情况，协助APP应用性能调优。

总体性能报告 

 

 

   

江苏汇知测试咨询服务案例 

 

江苏汇知网络科技有限公司是一家中型软件公司，拥有自主研发的2类产品、1个交易平台和3大课件制作工具，在云教育市场中有一定的客户群体，产品处于推广和发展的初期，已有一定规模。在产品发展过程中，开发过程不规范，工期紧任务重，测试体系不完善，导致产品质量急剧下降，严重影响客户满意度，导致老客户的丢失、市场份额的降低。公司内部开始重视产品质量，希望规范产品开发流程、累积过程文档。

 

全方位、分层次的软件测试服务：

基本的软件测试服务。包括参与产品需求与设计，完成产品高强度功能测试，基础功能简单的自动化实现，提供关键功能性能测试，输出标准的测试文档。

软件过程质量管理制度的建立。针对公司的实际情况，分析存在的问题，协助梳理公司流程，完善过程文档积累，渗透软件测试理念，有针对性的建立符合公司当前实际情况的测试管理体系。

产品功能升级和改善建议。针对当前产品的现状，提供产品升级风险评估，新功能对旧模块的影响性分析，旧数据对接可行性分析等。了解同类产品，提供产品功能优势对比分析，用户交互体验对比分析等服务。

 

相对于传统第三方测试的优势：

★ 无刻板的输入输出准则，进驻现场后可快速开展工作；

★ 

★ 

★ 

 

项目实施过程介绍：

 

 

 

 

 

 

2014.04  了解开发测试流程，分析过程问题：三月份进入现场，逐渐承担起三条主要产品线的测试工作，同时了解了企业当前从需求到发布的工作流程，并梳理了过程中存在的问题。  

2014.06  根据经验给出优化流程的意见，针对问题提供解决方案：项目前期主要是根据在咱们公司的工作经验和曾经参加CMMI L3的认识，提供流程优化的方法，针对过程问题制定规范。

2014.08  实现了测试环境的统一和固化：在内网模拟了外网真实的环境进行测试，统一了原有内外网两套测试环境，有效减少了测试工作量，并更好的保证了产品的质量。

2014.09  完善已有模块测试用例，明确制定了各种流程规范：明确了定期发版的时间和发版制度，制定了需求评审、数据库设计和评审等流程规范，总结了定期需要回归测试的内容，引入了晨会制度加强沟通明确每日目标。

2014.11  优化测试流程，简化用例模板：推进了测试用例评审流程，形式定义为会议评审，其作用得到开发经理认可；重新选定了缺陷管理工具，方便了缺陷的统计和管理；简化了测试用例模板，提高测试用例编写和评审效率。

2014.12  正式引入性能测试和自动化测试：针对新功能模块识别性能测试需求，通过预估功能的外网用户量明确性能测试标准；部分产品小部分功能实现自动化测试。

 

 

客户反馈问题折线图

 

 

 

 

发版前后缺陷对比图

 

 

 

最终，实现了过程结果的全面优化。有了标准的准入准出口，完善了具体的过程文档，有了契合实情的测试流程，建立了良好的软件过程质量管理规范。最终，有效保证产品更新质量，充分满足产品功能需求，保证稳定的产品功能特性，提供良好的用户交互体验。