大数据技术与原理 概述

大数据概述：
大数据的发展历程：

第一阶段：萌芽期（20世纪90年代至21世纪初）
第二阶段：成熟期（21世纪前十年）
第三阶段：大规模应用期（2010年以后）
大数据的特点（简称4V）：

数据量大
数据类型多
处理速度快
价值密度低
大数据的特征：

全面而非抽样
效率而非精确
相关而非因果
在科学研究上的四种范式：
实验科学、理论科学、计算科学、数据密集型科学

大数据技术
主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护。

大数据技术的不同层面及其功能

技术层面    功能
数据采集与预处理    利用ETL(数据仓库技术)数据文件工具将分布的、异构数据源中的数据，如关系数据、平 面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础; 也可以利用日志采集工具（如Flume、Kafka等）把实时采集的数据作为流计算系统的输入，进行实时的处理分析 。
数据的存储和管理    利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海里数据的存储和管理
数据的处理与分析    利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好理解数据、分析数据。
数据的隐私和安全    从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效的保护 个人隐私和数安全。
大数据的计算模式

批处理计算 针对大数据的批处理。 代表产品：MapReduce、Spark
流计算 针对流数据的实时计算。 代表产品： Storm、S4、 Flume、 Dstream 、银河流数据处理平台等
图计算 针对大规模图结构数据处理。 代表产品：Pregel 、Hama 、GraphX
查询分析计算 大规模数据的存储管理和查询分析。 代表产品：Hive、 Dremel
云计算：
三种模式：

Iaas（基础设施即服务）
Paas（平台即服务）
Saas（软件即服务）
关键技术：

虚拟化
分布式存储
分布式计算
多租户
物联网
分层：

感知层
网络层
处理层
应用层
大数据、云计算、物联网三者的关系与联系

大数据：侧重于海量数据的存储、处理、分析，从海量数据中发现价值，服务于生产和生活。
云计算：旨在整合和优化各种IT资源，并通过网络以服务的廉价方式提供给用户。
物联网：发展目标是实现物物相连，应用创新是互联网发展的核心。