大数据学习之HDFS基础

一、HDFS介绍

1. 基本介绍

   • HDFS的全称是Hadoop Distributed File System ，Hadoop的 分布式 文件 系统
   • 是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间
   • HDFS是一种适合大文件存储的分布式文件系统，不适合小文件存储

2. 设计思想

二、HDFS基础操作

1. HDFS的shell
   • 命令格式：bin/hdfs dfs -xxx scheme://authority/path
     • 使用hadoop bin目录的hdfs命令，后面指定dfs，表示是操作分布式文件系统的，这些属于固定格式【若在path中配置了Hadoop的bin目录，则直接使用hdfs即可】
     • xxx是一个占位符，具体我们想对hdfs做什么操作，就可以在这里指定对应的命令了
     • HDFS的schema是hdfs，authority是集群中namenode所在节点的ip和对应的端口号，把ip换成主机名也是一样的，path是我们要操作的文件路径信息
     • 其实后面这一长串内容就是core-site.xml配置文件中fs.defaultFS属性的值，这个代表的是HDFS的地址。
2. 基础命令

   • hdfs dfs：查看帮助文档

     [root@bigdata01 ~]# hdfs dfs
     Usage: hadoop fs [generic options]
             [-appendToFile  ... ]
             [-cat [-ignoreCrc]  ...]
             [-checksum  ...]
             [-chgrp [-R] GROUP PATH...]
             [-chmod [-R]  PATH...]
             [-chown [-R] [OWNER][:[GROUP]] PATH...]
             [-copyFromLocal [-f] [-p] [-l] [-d] [-t ]  ... ]
             [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc]  ... ]
             [-count [-q] [-h] [-v] [-t []] [-u] [-x] [-e]  ...]
             [-cp [-f] [-p | -p[topax]] [-d]