04 Hadoop体系结构

一.   Namenode

    1. 介绍

1)   是整个文件系统的管理节点

2)   它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表

3)   接收用户的操作请求

4)   文件/目录的元信息是指文件的名称、大小、修改时间等等信息

    2. hdfs文件查看

1)   查看路径：hdfs-site.xml的dfs.replication属性hadoop.tmp.dir

<configuration>
       <property>
              <name>hadoop.tmp.dir</name>
              <value>/usr/local/hadoop/tmp</value>
       </property>
</configuration>

查看文件

[root@chaoren hadoop]# cd /usr/local/hadoop/tmp/dfs/name/current
[root@chaoren current]# ls
edits  fsimage  fstime  VERSION

2)   fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息

3)   edits:操作日志文件

4)   fstime:保存最近一次checkpoint的时间

 

二.   Datanode

        1. 提供真实文件数据的存储服务。

        2. 文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。HDFS默认Block大小是64MB，以一个256MB文件，共有256/64=4个Block.

        3. 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间

                4. Replication。多复本。默认是三个。查看hdfs-site.xml的dfs.replication属性

 

三.   SecondaryNameNode

    1.       HA的一个解决方案。但不支持热备。配置即可。

    2.       执行过程：从NameNode上下载元数据信息（fsimage,edits），然后把二者合并，生成新的fsimage，在本地保存，并将其推送到NameNode，同时重置NameNode的edits.

    3.         默认在安装在NameNode节点上，但这样...不安全

    4.         其他