Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行于Slave节点的DataNode组成。NameNode负责管理文件系统命名空间和客户端对文件系统的访问操作;DataNode管理存储的数据。文件以块形式在DataNode中存储,假如一个块大小设置为50MB,块的副本数为3(通过设置块的副本数来达到冗余效果,防止单个DataNode磁盘故障后数据丢失),一个40MB的文件将被存储在一个块中,然后将相同的3个块存储在3个DataNode中实现冗余。大文件将被切成小块存储。
本实验的目的:
搭建hadoop的HDFS,通过DataNode节点的添加与删除实现HDFS空间动态增加与减少,以及HDFS文件系统的基本管理。
实验环境:
Hadoop安装_第1张图片Hadoop安装_第2张图片Hadoop安装_第3张图片Hadoop安装_第4张图片Hadoop安装_第5张图片Hadoop安装_第6张图片Hadoop安装_第7张图片Hadoop安装_第8张图片Hadoop安装_第9张图片Hadoop安装_第10张图片Hadoop安装_第11张图片Hadoop安装_第12张图片Hadoop安装_第13张图片Hadoop安装_第14张图片Hadoop安装_第15张图片Hadoop安装_第16张图片Hadoop安装_第17张图片Hadoop安装_第18张图片Hadoop安装_第19张图片Hadoop安装_第20张图片Hadoop安装_第21张图片Hadoop安装_第22张图片Hadoop安装_第23张图片Hadoop安装_第24张图片Hadoop安装_第25张图片Hadoop安装_第26张图片Hadoop安装_第27张图片Hadoop安装_第28张图片Hadoop安装_第29张图片Hadoop安装_第30张图片Hadoop安装_第31张图片Hadoop安装_第32张图片Hadoop安装_第33张图片Hadoop安装_第34张图片Hadoop安装_第35张图片Hadoop安装_第36张图片Hadoop安装_第37张图片Hadoop安装_第38张图片Hadoop安装_第39张图片Hadoop安装_第40张图片Hadoop安装_第41张图片Hadoop安装_第42张图片Hadoop安装_第43张图片Hadoop安装_第44张图片Hadoop安装_第45张图片Hadoop安装_第46张图片
Hadoop安装_第47张图片Hadoop安装_第48张图片Hadoop安装_第49张图片Hadoop安装_第50张图片Hadoop安装_第51张图片Hadoop安装_第52张图片