第27章 大数据系统测试

目录

一、主要内容

二、大数据概述

1、大数据的定义

2、大数据的特点

三、大数据的测试策略

1、大数据面临的挑战

2、大数据质量检测的测试策略

3、大数据测试流程

4、大数据测试工具

---

一、主要内容

1、大数据概述

2、大数据测试策略

二、大数据概述

1、大数据的定义

• 是指无法在一定时间内用常规的软件工具来进行捕捉、管理和处理的数据的集合

2、大数据的特点

• 数据类型多样
  • 例如发一条微博可能是文字、图片、视频；也可能是语法连贯的、语法不连贯的数据
• 数据体量大
  • 数据的增长速度快
  • 例如普通的用户系统一天增长几百兆，但是微博几亿用户加起来每天的数据量就会很大
• 处理速度高速
  • 大数据处理数据时要进行实时的分析，所以处理速度比较快，但是价值密度低
• 价值密度低
  • 要从大数据中获取有用的信息，就需要分析很多没有用的、不相关的数据，所以价值密度低

三、大数据的测试策略

1、大数据面临的挑战

• 数据的多样性和不完整性
• 高度扩展性
• 测试数据管理

2、大数据质量检测的测试策略

• 功能测试
• 性能测试
• 数据提取测试
• 数据处理测试
• 数据存储测试
• 数据迁移测试

3、大数据测试流程

• 用户使用
• 数据收集
• 大数据分析
• 缺陷挖掘

4、大数据测试工具

• Hadoop：开源框架，可以存储大量数据，且具有分布式的处理能力
• HPCC：高性能的计算机集群，是一个免费的完整的大数据的应用解决方案
• Cloudera：企业级技术部署比较理想的测试工具
• Cassandra：免费开源的工具，提供自动的复制、线性的可扩展、无单点故障的相关服务
• Storm：免费开源的工具，支持非结构化数据实时的处理，并且能够与任何编程语言兼容