hadoop hdfs tips

阅读更多

一、可以用网上的hdfs-webDav在windows机器上通过网上邻居防问hadoop的hdfs文件系统。步骤：
   1.下载hdfs-webdav.war，修改hdfs-webdev.war里面的WEB-INF/classes/hadoop-site.xml

修改fs.default.name属性,以确定hdfs-webdev要连接的hadoop NameNode Server,示例:

property>
   fs.default.name
   hdfs://10.0.1.8:54310/
   namenode

    2.替换hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.17.2.1-core.jar的版本

    3.访问http://localhost:8080/hdfs-webdev

    4.打开“网上邻居”，添加网上邻居，在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.

http://localhost:8080/hdfs-webdev

然后按照向导的提示继续下一步就可以了. 

----------------------------
通过以上设置，可以在网上邻居里查看hadfs的文件了，却不能上传，一上传就报错，
查来很久，原来是hadoop权限问题，在hadoop-site.xml里增加如下内容：

        dfs.permissions
        false



        dfs.web.ugi
        hadoop,supergroup

二、解决用webDav上传中文文件乱码问题。
    这主要由于hadoop是默认的是utf-8的格式，而windows是gbk的，所以要在转码，webDav是经过tomcat容器实现上传文件的，所以要在tomcat里将转码配制一下，即Ok了。