Hadoop中hdfs如何存储文件

安装Hadoop单机版

Hadoop文件系统操作指令

从安装Hadoop 单机版的配置说起

在这里配置了Hadoop的文件目录

1. 启动Hadoop 并上传文件

    上传文件命令：hadoop fs -put hadoop-2.9.2.tar.gz hdfs://hdgroup01:9000/

    

    

    可以看到已经上传了文件了

2. 删除本地文件

  

如果删除后你在浏览器刷新页面 然后还能下载 说明 肯定存在其他地方 

使用命令下载也可以：hadoop fs -get hdfs://hdgroup01:9000/hadoop-2.9.2.tar.gz

3. hdfs 文件存放的位置

通过查看 安装时配置的hadoop文件目录  上传文件后的结果

这个dfs 应该见过的 就是在格式化namenode的时候 在我们配置的文件中创建了dfs 文件夹

4. 上传一个349.5M 的文件 

5. 进到hadoop 本地存储文件中查看 存储格式

上传的文件为349.47M 被切分成了 三块 因为是单机版 所以都存放到了 这台主机的文件系统中

可以看到 hadoop 块大小为128M（默认） 超过128M的文件会被切成不同的块存放

 

总结

    1. hdfs是是通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式 虚拟的目录结构

    2. 文件存储到hdfs集群中的时候是被切分成block的 默认为128M

    3. 文件的block 存放在若干台datanode节点中

    4. hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理

    5. 每个block 在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量。