Hadoop文件系统系统基础知识
一、Hadoop云计算系统
1、对Hadoop体系结构认知
官方的解释就不多说了，只谈自己的理解。
现在有很多公司都推出了自己的云计算平台，如IBM、Amazon、Microsoft。Hadoop是Apache组织的一个分布式框架，是Google的云计算平台的开源实现。
Hadoop主要由以下几个子项目构成：
（1） Hadoop Common：原来的Hadoop Core，是Hadoop项目的计算核心，其他的子项目都是在这个核心的基础上发展的。
（2） Avro：Hadoop的RPC（Remote Procedure Call ，远程过程调用）方案。
（3） Chukwa：一个用来管理大型分布式系统的数据采集系统。
（4） Hbase：HadoopDatabase支持结构化数据存储的分布式数据库。
（5） HDFS：HadoopDistributed File System,高吞吐量的分布式文件系统。
（6） Hive：提供数据摘要和查询功能的数据仓库。
（7） MapReduce：大数据的分布式处理模型。
（8） Pig：建立在MapReduce上的高级数据流语言。
（9） ZooKeeper：用于解决分布式系统的一致性问题。
| Hadoop云计算系统 |
Google云计算系统 |
| Hadoop HDFS |
Google GFS |
| Hadoop MapReduce |
Google MapReduce |
| Hadoop HBase |
Google Bigtable |
| Hadoop ZooKeeper |
Google Chubby |
| Hadoop Pig |
Google Sawzall |
两个系统的对比
2、Hadoop的优点
1、开源：就不多说了
2、经济：分布式运行到多个廉价PC上
3、可扩展：存储可扩展和计算可扩展
4、可靠：HDFS的备份恢复机制和MapReduce的任务监控机制保证分布式处理的可靠性。
5、高效：分布式文件的高效数据交互，各节点的动态数据交互并保证动态平衡（目前脑子没概念）。
二、HDFS
1、体系结构
HDFS（HadoopDistributed File System）是Hadoop系统底层的分布式文件管理系统。主要包括NameNode、DataNode、元数据及数据块的操作。
对外部客户机而言，HDFS 就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是 HDFS 的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。这些节点包括 NameNode（仅一个），它在HDFS内部提供元数据服务；DataNode，它为 HDFS提供存储块。由于仅存在一个 NameNode，具有单点失效风险（SinglePoint Of Failure），这也是HDFS的一个缺点。
存储在 HDFS 中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的 RAID架构大不相同。块的大小（通常为 64MB）和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。HDFS内部的所有通信都基于标准的 TCP/IP协议。
图 2-1 结构原理图（摘自官网）
3、相关概念
NameNode：通常在 HDFS实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的 3个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。NameNode管理文件系统的元数据，只有表示DataNode和块的文件映射的元数据经过 NameNode。DataNode存储实际的数据。客户端联系NameNode以获取文件的元数据，实际的 I/O事务并没有经过 NameNode，而是直接和DataNode交互。当外部客户机发送请求要求创建文件时，NameNode会以块标识和该块的第一个副本的DataNode IP地址作为响应。这个 NameNode还会通知其他将要接收该块的副本的DataNode。
NameNode在一个称为 FsImage的文件中存储所有关于文件系统名称空间的信息。这个文件和一个包含所有事务的记录文件（这里是EditLog）将存储在 NameNode 的本地文件系统上。FsImage和 EditLog文件也需要复制副本，以防文件损坏或 NameNode系统丢失。
DataNode：DataNode也是一个通常在 HDFS实例中的单独机器上运行的软件。Hadoop集群包含一个 NameNode和大量 DataNode。DataNode通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。DataNode响应来自 HDFS客户机的读写请求。它们还响应来自 NameNode的创建、删除和复制块的命令。NameNode依赖来自每个 DataNode的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode可以根据这个报告验证块映射和其他文件系统元数据。如果 DataNode不能发送心跳消息，NameNode将采取修复措施，重新复制在该节点上丢失的块。
三、Hbase
1、Hbase的数据模型
| Row Key |
Timestamp |
Column Family |
|
表的主键，默认升序 |
操作对应数据的时间戳 |
水平方向有一个或多个列族，每个列族由任意多列组成，并且支持动态扩展，数据以二进制形式存储. |
2、内部处理机制
Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应的RegionServer进行管理。
HBase中有两张特殊的Table，-ROOT-和.META.
.META.：记录了用户表的Region信息，.META.可以有多个regoin
-ROOT-：记录了.META.表的Region信息，-ROOT-只有一个region
Zookeeper中记录了-ROOT-表的location
当Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问，中间需要多次网络操作，不过client端会做cache缓存。
3、常用的操作
觉得和以前的SQL原理类似，有DML和DDL，还有权限管理以及工具命令等。常用的有create，describe，disable，drop，list，scan，put，get，delete，deleteall，count，status，grant，revoke，user_permission等。