HDFS入门了解心得

HDFS入门了解心得:

在对Hadoop有了一个框架的基本了解之后，我就已经知道了HDFS就是Hadoop Distribution File System. Hadoop的一套分布式文件管理系统。那么HDFS到底是什么呢？基本的原理是什么样的？在超人学院吴超老师的视里是这么解释的

HDFS负责数据费分布式存储，基本的结构是是一种主从结构。分成主节点namenode，和从节点datanode。Namenode节点主要负责的是用户的请求操作，类似用户需要下载文件，用户需要上传文件等等操作都用NameNode来处理。这是用户操作的一个入口。DataNode这个节点的主要职责呢，就是将用户需要上传的数据给真正的存起来。以后用户需要数据在从这些个DataNode里提取出来使用。所以我愿意用使用字典来类比NameNode和DataNode。NameNode好比是字典的目录，我们在查一个海量的字典的时候只能先去目录，在目录中寻求我们需要的东西。然后NameNode这个目录将指引我们找到一需要寻找文件的具体位置。那这个位置就是DataNode，存放着我们需要的栋。也可以用一个大型商场来类比。在海量商品的商场里，当我们需要购买一个东西的时候无法对海量商场进行遍历寻找。我们可以去咨询导购员，那这个导购员就是NameNode，他知道商品在什么地方。然后在带领我们去那个柜台，柜台就是DataNode存放我们需要的商品。同是以上的字典目录和导购员不一定要唯一，也是目录没办法那么大，或者一个导购员都所有柜台。所以可以有多个目录和多个导购员。及即在HDFS中是存在多个NameNode和很多的DataNode。