大数据考前复习资料

大数据的概念：
大数据的4个“V”是指：数据量大、数据类型繁多、处理速度快、价值密度低
大数据的基本处理流程主要包括数据采集、数据存储、数据分析和结果呈现。
大数据的计算模式主要包括批处理计算、流处理计算、图处理计算和查询计算
大数据产业包括IT基础设施层、数据源层、数据管理层和数据分析层

hadoop概念和配置
配置Hadoop时，Java的路径JAVA_HOME在配置文件hadoop-env.sh中进行设置；所有节点的HDFS路径通过fs.defualt.name来设置，这个选项在配置文件core-site.xml中设置。
iHadoop的核心是HDFS和MapReduce。
iHadoop的主要特性有高可靠性、高效性、高可扩展性、高容错性、成本低、运行在Linux操作系统上、支持多种编程语言
iHadoop的三种运行模式是独立（本地）模式、伪分布式模式、完全分布式模式

简答题：
大数据的概念，大数据与云计算的关系
答：（1）大数据、云计算和物联网的区别。大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是实现“物物相连”，应用创新是物联网发展的核心。
（2）大数据、云计算和物联网的联系。从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自云计算，云计算的分布式数据存储和管理系统提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力。没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要数据来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段转向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助云计算和大数据技术，实现物联网大数据的存储、分析和处理。

hadoop生态系统
试述Hadoop生态系统以及每个部分的具体功能（p32 33）
答：1、HDFS：底层数据存储，具有处理超大数据、流式处理，可运行在廉价商用服务器上等优点。
2、HBase：一个提供高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库，一般采用HDFS作为其底层数据存储。
3、MapReduce：一种编程模型，用于大规模数据集的并行运算。它允许用户在不了解分布式底层细节的情况下开发并行应用程序，并将其运行于廉价计算机集群上，完成海量数据处理。
4、Hive：一个基于Hadoop的数据仓库工具。可用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储。
5、Pig：一种数据流语言和运行环境。适合用于使用Hadoop和MapReduce平台来查询大型半结构化数据集。
6、Mahout：提供一些可扩展的机器学习领域经典算法的实现。
7、Zookeeper：一个高效和可靠的协同工作系统，提供分布式锁之类的基本服务。
8、Flume ：一个高可用的、高可靠的、分布式海量日志采集、聚合和传输的系统。
9、Sqoop（SQL-to-Hadoop）：用于在Hadoop和关系数据库之间交换数据。
10、Ambari：一种基于Web的工具，Apache Hadoop集群的安装、部署、配置和管理。

mapreduce的工作流程
答：（1）MapReduce框架使用InputFormat模块做Map前的预处理（如验证输入的格式是否符合输入定义等）；然后将输入文件切分为逻辑上的多个InputSplit，InputSplit是MapReduce对文件进行处理和运算的输入单位（每个InputSplit并没有对文件进行实际切割，只是记录了要处理的数据的位置和长度）。
（2） 通过RecordReader(RR)根据InputSplit中的信息处理InputSplit中的具体记录，加载数据并转换为适合Map任务读取的键值对，输入给Map任务。
（3）Map任务根据用户自定义的映射规则，输出一系列的作为中间结果。
（4）通过对Map的输出进行一定的分区（Portition）、排序（Sort）、合并（Combine）、归并（Merge）等操作，得到形式的中间结果，再交给对应的Reduce进行处理，此过程称为Shuffle。
（5）Reduce以一系列中间结果作为输入，执行用户定义的逻辑，输出给OutputFormat模块。
（6）OutputFormat模块验证输出目录是否已经存在以及输出结果类型是否符合配置文件中的配置类型，如果都满足，就输出Reduce的结果到分布式文件系统。
Shuffle过程：
l Map端的Shuffle过程
（1）输入数据和执行Map任务；
（2）写入缓存；
（3）溢写（分区、排序和合并）；
（4）文件归并。
l Reduce端的Shuffle过程
（1）“领取”数据；
（2）归并数据；
（3）把数据输入给Reduce任务。