Hadoop权威指南笔记1——第1章：初始Hadoop
第1章：初识Hadoop
1.1 数据！数据！
我们生活在一个大数据的时代。各处都是数据
1.2 数据的存储与分析
硬盘容量在扩大，但是读写数据没有改变。就会导致读取大数据，数据变慢
那么就需要并行读取，但是会存在两个问题。
第一个问题： 硬件故障问题，故障容易照成数据丢失，所以需要进行备份。例如RAID、Hadoop的HDFS
第二个问题：不同磁盘的数据需要相互结合来完成计算，这里就需要用到Hadoop的MapReduce
所以，Hadoop解决了上面两个问题
1.3 查询所有数据
MapReduce看似是比较暴力的方法，但是却改变了之前的传统思维。依此来进行创新
1.4 不仅仅是批处理
MapReduce是一个批处理系统，也就是说他需要读取所有的数据，这必然会导致时间很长，所以不适合实时处理。
但是Hadoop还提出了新的方式，来实现实时处理
第一个是HBase，使用键值对的存储方式。
第二个是YARN。Yarn是资源管理系统，管理集群的资源。
近几年出现的能和Hadoop协同工作的技术
（1）Interactive SQL（交互式SQL）
在Hadoop上使用SQL进行数据的查询
（2）Iterative processing（迭代处理）
比如机器学习算法具有迭代器。
（3）Stream processing (流处理)
比如：Storm、Spark Streaming 或 Samza
（4）Search（搜索）
Solr搜索平台能够在Hadoop集群上运行。
1.5 相比于其他系统的优势
Hadoop相比于传统的关系型数据库还是有比较明显的优势。
1.5.1 关系型数据库管理系统
作者解释了为什么不用关系型数据库存储大数据。
第一：读取数据慢。第二： 如果需要大量的数，那么传统的效率没有MapReduce高
传统的数据库只能读取结构化的数据，而Hadoop可以存储非结构化的数据（纯文本或者图像）。
Hadoop的MapReduce可以并行处理，即使数据量增加，但是增加处理的机器，那么处理的速度是一样的。
1.5.2 网格计算
高性能计算将作业分散到不同的机器上，然后并行完成。而数据之间的交互是通过网络完成的。
然而带宽是有限的，如果让大数据用网络带宽传输，必然会导致速度慢。所以进入让数据本地化，在本台机器上进行完成。
并且多台机器执行任务的时候，那么需要协调各个机器，防止有机器执行失败，MapReduce也主要负责协调各个机器执行的运行。
1.5.3 志愿计算
Hadoop和志愿计算的区别。
志愿计算：志愿者把自己的CPU贡献出来，用于计算。总部将数据发送到志愿者的机器上，然后志愿者计算完成后将结果返回。防止欺骗，总部还会将同一个数据发给不同的3个人。
MapReduce有三大设计目标：（1）在几分钟到几小时内完成作业服务。（2）所有的机器在一个内部的高速网之中（3）各个机器都是可靠的
1.6 Apache Hadoop发展简史
Hadoop由Apache Lucence创始人道格 卡丁创建的
起初是为了解决数十亿网页的搜索问题，2003年发表的一篇GFS给了他们启发。在2004年，Nutch的开发者提出了NDFS
2004年，谷歌向全世界介绍的MapReduce系统。Nutch也实现了一个MapReduce
开发人员将Nutch中的NDFS和MapReduce移出，形成Lucene的一个子项目，命名为Hadoop。
2008年2月，雅虎宣布，雅虎搜索引擎拥有1万个机器的Hadoop集群。
2008年4月，Hadoop打破世界纪录，称为最快对TB级数据进行排序的系统。用时209秒
2014年，使用了Spark集群对100TB的数据排序，仅用时1406秒，意味着1TB的数据仅用时14秒
现在Hadoop在工业界已经成为公认的大数据通用存储和分析平台。
1.7 本书包含的内容
本书分为五大部分。 1-3部分讲解Hadoop核心。 4部分讲述Hadoop生态的相关项目。5部分讲述Hadoop实例学习。
第1章：对Hadoop的宏观介绍
第2章：简要介绍MapReduce
第3章：深入剖析Hadoop文件系统，特别是HDFS
第4章：讨论Hadoop集群资源管理系统YARN
第5章：讲述Hadoop的I/O构建模块
Ⅱ部分
第6章：全景呈现MapReduce应用开发所涉及的具体步骤
第7章：用户如何在Hadoop中实现MapReduce
第8章：包含MapReduce编程模型和MapReduce可以使用的各种数据格式
第9章：MapReduce高级主题，包括排序和数据连接
Ⅲ部分
第10章、第11章：描述如何设置和维护一个运行HDFS和YARN的Hadoop集群
Ⅳ部分
介绍Hadoop生态的其他项目
第12章：剖析Avro，Hadoop的一种跨语言数据序列化库
第13章：描述Parquet，一种嵌套式数据的列式存储
第14章、第15章：如果将数据输入Hadoop，包括Flume大批量输入，Sqoop支持结构化数据的传输
第16章：Pig：一种用于开发大数据集的数据流语言
第17章：Hive：数据仓库，通过SQL语言查询HDFS中存储的数据
第18章：Crunch：一种高层次的Java API，用于写运行在MapReduce或者Spark上的程序
第19章：Spark： 一个面向大数据处理的集群计算框架。提供DAG，以支持Scala、Java和Python语言的API
第20章：HBase，一种使用HDFS作为底层存储的数据库
第21章：Zookeeper：分布式高可用性的协调服务
Ⅴ部分：
收集了一些实例，用趣味的方式向Hadoop用户提供