Hadoop学习笔记(三)

hadoop帮助文档:https://hadoop.apache.org/docs/stable/

HDFS原理:

Hadoop学习笔记(三)_第1张图片

HDFS分块存储思想: 用hdfs存储数据应该考虑每个节点负载均衡。Hadoop2.xx中默认块大小为128MB,当数据大小小于128MB也是单独存一个块。

HDFS默认备份思想:用hdfs存储数据块默认备份个数为3,在hdfs-site.xml中dfs-replication设置个数。备份的数据块存放在不同的机架(节点)上

副本之间不存在优先主次关系。

 

 

 DataNode:大方块中的蓝色方块

Hadoop学习笔记(三)_第2张图片

 

 Hadoop学习笔记(三)_第3张图片

 

 心跳检测:检测状态信息

Hadoop学习笔记(三)_第4张图片

 

Hadoop学习笔记(三)_第5张图片

 Hadoop学习笔记(三)_第6张图片

HDFS的优缺点:

  Hadoop学习笔记(三)_第7张图片

 

 Hadoop学习笔记(三)_第8张图片

 FS Shell

Hadoop学习笔记(三)_第9张图片

 

 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html

你可能感兴趣的:(Hadoop学习笔记(三))