使用Fuse挂载HDFS

环境

OS:centos 6.2 

gcc、jdk（1.6.33）、ant

ant 需要1.8.2或以上版，在官方网站可下载

 

   依赖包安装

 

yum install automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

1. 安装fuse 
    这里可以编译安装或yum安装
   

 yum install fuse fuse-libs fuse-devel

 

2. 安装ant 
    使用yum安装
    

 yum install ant

 

3. 添加系统配置 
    vi /etc/profile ， 视自己的实际情况进行设置
    

 export OS_ARCH=amd64     #如果是32位机器填i386
 export OS_BIT=64         #如果是32位机器填32
 export JAVA_HOME=/usr/java/jdk1.6.0_26
 export CLASSPATH=,:$JAVA_HOME/lib  #注意点号，与冒号
 export HADOOP_HOME=/usr/local/hadoop-0.20.2
 export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib

执行代码：  source /etc/profile  

4. 进行编译 
    

 cd $HADOOP_HOME
 ant compile-c++-libhdfs -Dlibhdfs=1 -Dcompile.c++=1
 ln -s c++/Linux-$OS_ARCH-$OS_BIT/lib build/libhdfs
 ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1

如果编译没有通过，可以是缺少依赖包： automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

yum install automakeautoconf m4 libtool pkgconfig fuse fuse-devel fuse-libs

5.  环境配置

 

  编辑/etc/fuse.conf，写入以下内容
user_allow_other
mount_max=100
 
编辑$HADOOP_HOME/build/contrib/fuse-dfs/fuse_dfs_wrapper.sh
if [ "$HADOOP_HOME" = ""]; then
export HADOOP_HOME=具体的hadoop目录
fi
 
exportPATH=$HADOOP_HOME/build/contrib/fuse_dfs:$PATH
 
for f in ls $HADOOP_HOME/lib/*.jar $HADOOP_HOME/*.jar; do
export   CLASSPATH=$CLASSPATH:$f
done
 
if [ "$OS_ARCH" = "" ];then
export OS_ARCH=amd64   如果是32位机器填写i386
fi
 
if [ "$JAVA_HOME" = "" ];then
export   JAVA_HOME=具体的jdk目录
fi
 
if [ "$LD_LIBRARY_PATH" ="" ]; then
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/build/libhdfs:/usr/local/lib
fi
 
./fuse_dfs $@

5. 测试 
    启动hadoop集群后，

   Shell代码  

 mkdir /mnt/dfs   #挂载的目录
 cd $HADOOP_HOME/build/contrib/fuse-dfs
 ./fuse_dfs_wrapper.sh dfs://namenode_IP:port /mnt/dfs/
 ls /mnt/dfs/

引用 ：http://zh.wikipedia.org/zh-cn/FUSE

http://savagegarden.iteye.com/blog/1170752

http://wenku.baidu.com/view/0a9f2918c5da50e2524d7fca.html###