基于CDH5.4配置挂载HDFS文件系统

基于CDH5.4配置挂载HDFS文件系统

CDH 5 包含了FUSE (Filesystem in Userspace)接口到 HDFS. hadoop-hdfs-fuse 安装包让 HDFS 集群 做为Linux 的外部文件挂载到磁盘中.

安装FUSE
安装hadoop-hdfs-fuses在 Red Hat-compatible（CentOS）系统中:
$ sudo yum install hadoop-hdfs-fuse


安装hadoop-hdfs-fuses在 Ubuntu 系统中:
$ sudo apt-get install hadoop-hdfs-fuse


安装hadoop-hdfs-fuses在SLES系统中:
$ sudo zypper install hadoop-hdfs-fuse


执行mount命令：
$ mkdir -p <mount_point> #创建文件夹
$ hadoop-fuse-dfs dfs://<name_node_hostname>:<namenode_port> <mount_point>  //挂载到文件系统中


如果使用了HA则
$ hadoop-fuse-dfs dfs://<nameservice_id> <mount_point>


操作示例：
mkdir /hdfs
hadoop-fuse-dfs dfs://nameservice1 /hdfs


配置 /etc/fstab 文件增加如下一行（否则重启系统后挂载则失效）：
hadoop-fuse-dfs#dfs://<name_node_hostname>:<namenode_port> <mount_point> fuse allow_other,usetrash,rw 2 0


操作示例：
hadoop-fuse-dfs#dfs://localhost:8020 /mnt/hdfs fuse allow_other,usetrash,rw 2 0


如果使用了HA如下：
hadoop-fuse-dfs#dfs://nameservice1 /hdfs fuse allow_other,usetrash,rw 2 0


采用 df -h 命令查看，可看到挂载的hdfs盘，如下：
fuse_dfs        279T  122G  279T   1% /hdfs