小白学习大数据测试:6个主流程和3个关键步骤归纳整理
什么是大数据?
大数据是一个大的数据集合,通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析,而且它在数量、多样性、速度方法都很出色。
大数据测试类型
测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。
在大数据测试中,QA工程师数据处理可以是三种类型:批量、实时、交互。
与此同时,数据质量也是大数据测试的一个重要因素。它涉及检查各种字段,如准确性,重复,一致性,有效性,数据完整性等。
大数据测试步骤
下图给出了测试大数据应用程序阶段的高级概述:
大数据测试实现被分成三个步。
1:数据阶段验证
♦ 来自各方面的数据资源应该被验证,来确保正确的数据被加载进系统
♦ 将源数据与推送到Hadoop系统中的数据进行比较,以确保它们匹配
♦ 验证正确的数据被提取并被加载到HDFS正确的位置
该阶段可以使用工具Talend或Datameer,进行数据阶段验证。
Step 2:"MapReduce"验证
在这个阶段,测试者在每个节点上进行业务逻辑验证,然后在运行多个节点后验证它们,确保如下操作的正确性:
♦ Map与Reduce进程正常工作
♦ 在数据上实施数据聚合或隔离规则
♦ 生成键值对
♦ 在执行Map和Reduce进程后验证数据
Step 3:输出阶段验证
生成输出数据文件,同时把文件移到一个EDW(企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括:
♦ 检查转换规则被正确应用
♦ 检查数据完整性和成功的数据加载到目标系统中
♦ 通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏
大数据测试完整流程
遵循:需求调研+分析---->测试策略计划制定---->测试用例编写--->执行测试----->线上验证测试----->测试总结的流程。
1、需求调研+分析
测试若不清楚需求的背景现状是无法真正做好测试、保证产品质量的。
需求分析的越透彻,后续的工作就越顺利。这个步骤是需要产品、开发、测试相互补充辅助完成。
2、测试策略计划制定
通过开发的技术架构评审会,测试会了解开发的架构逻辑,表结构设计,开发排期,从而制定测试策略方法,测试重点,测试工具选用,测试排期,风险预估等
3、编写及评审测试用例
测试用例需要覆盖所有的测试场景:
正常的,异常的、功能逻辑的,接口的、性能的等等.
测试用例的目的:
从来就是为了更好执行测试,更好的保证执行测试时的高覆盖率和高通过率,绝对不是为了写用例而写用例。
测试工具的选择遵循两个重要标准:
(1)清晰展现测试思路和逻辑
(2)方便快速评审及执行测试。
目前我们所使用的的用例管理工具是matrix+easytest+freemind+excel,根据不同的需求场景,选择不同的工具。
4、用例执行测试
执行测试包括两部分:
第一部分:每周平均两次的迭代版本测试,这种类型的执行测试以手工测试为主工具为辅。
第二部分:定期执行部分, 主要依赖工具执行。用来做web、接口的功能测试和性能测试,包括selenium+git+idea、easytest、jmeter、beyondcompare这类工具分别设置了不同的执行周期,定期的进行全产品线的回归测试,进一步保证产品功能逻辑及接口功能的正确及可用性。
5、线上验收测试
上线后,第一时间针对上线更新内容进行线上回归测试,并且快速反馈给开发和产品,做出决策;上线验证完成后,根据实际上线结果向项目所有成员发送上线测试报告;
6、测试总结
包括:文档整理、技术总结、项目概况综述。
文档整理
针对项目所涉及的环境数据、业务数据等实际场景做项目后的总结整理。
技术总结
主要是针对项目中用到的工具技术,所遇到的难点或新的突破和改进。
项目概况综述
包括需求覆盖率、需求遗漏变更率、开发自测通过率、开发bug反复率、用例覆盖率、问题遗漏率、项目bug类型及数量统计等。
总结:
万变不离其宗,不论是什么测试ta的主流程基本都是一样的,就是我们刚开始学习测试的那一套流程。也许你会觉得简单,但你要明白,无规不成方圆,有时候没有推行好或者结果不好不一定是因为技术不行,也许是没有好的流程。就好像,一辆汽车的生产,如果没有好的流程你觉得最终出来的汽车质量会好吗?
很多东西不会立马就明白,大数据测试也是一样,先做了解和记忆,等后续随着知识的积累自然就明白了,学习就是这样的,需要一个过程,不能太强求。
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。