大数据技术应用-1

前沿

大数据技术起源于Google在2004年前后发表的几篇论文，而Hadoop最初则是Google大数据技术的开源版本。
大数据具有容量大、种类多、速度快、含有价值等特点，包括结构化，半结构化，和结构化数据。

第一章第二章：大数据的发展史，大数据的概念，特征与价值，大数据的技术架构，Hadoop生态圈，Hadoop集群安装部署等知识。
第三章到第五章：Hadoop的3个组件，HDFS,MapReduce和YARN，工作机制及其MapReduce编程
第六章：ZooKeeper的核心机制，应用场景和客户端操作；
第七章：Hive数据仓库的数据类型、文件格式、内置函数与DDL/DML操作
第八章：Flume的安装部署与数据采集
第九章：Akaban的安装部署与使用，读者需了解其任务调度功能
第十章：Sqoop的导入/导出
第十一章：HBase的体系架构、数据模型、运行机制和实战编程，Java API操作
第十二章：Kafka架构机制与实战编程，
第十三章：Spark的体系架构，Spark RDD，Spark SQL，Spark Streaming
第十四章：大数据平台的几个监控工具，JMX
第十五章和第十六章：大数据离线计算和实时计算的流程及其实战

第一章 大数据概述

大数据的历史、现状与未来

大数据的历史

1、萌芽阶段（20世纪90年代至21世纪初）
大数据萌芽时期以谷歌论文的发表和Hadoop项目的成立为标志，前者提供了理论支持，后者提供了开源的解决方案
2、发展时期（20世纪初至2021年）
3、兴盛时期（2011年至今）

大数据的现状

第一层次，描述性分析应用
呈现事物的发展历程
第二层次，预测性分析应用
分析事物的关联关系，进行预测
第三层次，指导性分析应用
分析不同决策将导致的结果，并对决策进行指导和优化。

应用案例
零售行业
金融行业
医疗行业
教育行业

大数据的未来

（1）结合智能计算的大数据成为热点
（2）跨学科，跨领域的数据融合与应用将成为今后大数据应用发展的重点方向
（3）大数据安全与隐私
（3）各种可视化技术和工具提升大数据应用价值

大数据的概念、特征与价值

大数据的概念

马丁·希尔伯特的总结：
今天我们常说的大数据其实是在2000年后，因为信息交换，信息存储，信息处理这三个方面大幅增长而产生的数据。

大数据的特征

（1）数据量大
（2）增长、处理速度快
（3）种类和来源多
（4）价值密度低
（5）数据的准确性

大数据的价值

（1）数据辅助决策
（2）数据驱动业务
（3）数据对外变现

大数据的技术架构

数据源层

（1）交换数据
（2）移动通信数据
（3）人为数据
（4）机器和传感器数据
（5）互联网上的开放数据

数据采集层

大数据采集技术，实现对数据的ETL操作
ETL是英文 Extract-Transform-Load的缩写，数据从数据来源经过抽取、转换、加载到目的端。
用户从数据源到数据仓库中去，最后对数据仓库中的数据进行数据分析和处理。
数据采集位于数据分析生命周期的重要一环，通过传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化以及非结构化的海量数据。

网络爬虫
开源日志收集系统
数据库

数据存储层：进行数据存储。
数据处理层：批量处理（离线处理）和实时处理（在线处理）
数据建模层：
数据应用层：大数据应用的目标

大数据离线计算与实时计算

大数据离线计算

大数据离线计算概述

利用大数据的技术栈（Hadoop生态圈的各种技术），在计算开始前准备好所有输入数据，该输入数据不会产生变化，且在解决一个问题后就要立即得到计算结果的计算模式。
离线计算也可以理解为批处理计算，与其相对应的是在线计算或者实时计算。

大数据离线计算应用场景

Hadppo生态圈的各种技术。

大数据离线计算的局限与优势

（1）分布式存储
（2）分布式计算
（3）检索和存储的组合

大数据实时计算

大数据实时计算概述

大数据实时计算指的是数据实时产生，产生后就立即处理，这种计算方式倾向于把数据看做流来处理。

大数据实时经计算的特点

数据连续输入，不停计算
低延时
计算结果一般存储在内存数据库中
查询结果一般是截止某个时刻的即时汇总数据。

大数据实时计算应用场景

数据源是实时的，不间断的要求对用户的响应也是实时的
数据量大且无法或没有必要提前计算，但要求对用户的响应时间是实时的。

大数据实时计算与离线计算的区别

（1）存储，即数据来源
离线计算：一般存储在HDFS中，而且数据量大
实时计算：一般是消息队列，如Kafka，需要实时增加

（2）处理过程中使用的框架
离线计算：MapReduce或Hive
实时计算：Spark(DStream)或者Storm，Flink等其他实时计算框架
(3) 处理速度，延迟差别
离线计算：速度慢，延迟高
实时计算：速度快，延迟低
（4）进程
离线计算：启动进程，处理完成后销毁进程
实时计算：7*24