Hadoop2.7.1——NFS部署

Hadoop2.7.1——NFS部署

第一步:关闭本机的NFS与RPCBIND服务(centos6),若是CentOS5(关闭NFS与portmap服务)

命令:(centos 6)

Ø  service nfs stop

Ø  service rpcbind stop

命令:(centos 5)

Ø  service nfs stop

Ø  service portmap stop

第二步:修改core-site.xml与hdfs-site.xml

在core-site.xml添加

       hadoop.proxyuser.root.groups

       *

       允许所有用户组用户代理

  

  

      hadoop.proxyuser.root.hosts

      localhost

      允许挂载的主机域名

  

说明:name标签中的root是用户名称,这是表示可以超级用户访问。*表示所有的用户组,有时还需要创建超级用户组,否则会用警告提示。

命令:groupadd supergroup

在hdfs-site.xml中增加如下操作

                   nfs.dump.dir

                   /tmp/.hdfs-nfs

        

        

        

                   nfs.rtmax

                   1048576

                   Thisis the maximum size in bytes of a READ request supported by the NFS gateway. Ifyou change this, make sure you also update the nfs mount's rsize(add rsize= #of bytes to the mount directive).

        

        

        

                   nfs.wtmax

                   65536

                   Thisis the maximum size in bytes of a WRITE request supported by the NFS gateway.If you change this, make sure you also update the nfs mount's wsize(add wsize=# of bytes to the mount directive).

        

        

        

                   nfs.exports.allowed.hosts

                   *rw

                   允许所有主机对文件有rw权限

        

第三步:启动相关操作

前提:在配置了环境变量下,(没有配置环境变量,进入Hadoop主目录/bin下启动),Hadoop可以已格式化后正常启动。

若在启动时想看到相关的启动详细信息,在hadoop主目录/etc/Hadoop/log4j.property中添加如下信息:

log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG

log4j.logger.org.apache.hadoop.oncrpc=DEBUG

 

启动顺序如下:

Ø  启动Hadoop:start-all.sh

Ø  启动portmap:     hdfs portmap &

Ø  启动nfs3:         hdfs nfs3 &

第四步:查看相关信息和加载目录

Ø  查看是否启动成功 : showmount  -e  ip或localhost


显示以上信息说明启动成功了。

Ø  rpcinfo -p ip或localhost

Hadoop2.7.1——NFS部署_第1张图片

Ø  加载命令:mkdir -p/mnt/hdfs

mount -t nfs -o vers=3,proto=tcp,nolocklocalhost:/ /mnt/hdfs

将hadoop根目录加载到/mnt/hdfs中


第五步:测试

1、往hdfs上复制文件:

[root@ hanyan ~] # time cp jdk.tar.gz /mnt/hdfs/

 从上面的测试来看,在目前这个环境中:上传速度约为:20m/s

 

 2、从hdfs上复制文件到本地目录:

[root@ hanyan ~] # time cp /mnt/hdfs/test.txt /home/hanyan

从上面的测试来看,在目前这个环境中:下载速度约为:30m/s,当下载的文件在hdfs的缓存中时,下载速度非常快。

 

你可能感兴趣的:(java技术,Hadoop)