hadoop配置文件详解

最近看了看hadoop，了解了一下hadoop配置文件。先将资料分享如下：

 

Hadoop伪分布配置：

 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.6 //指定java虚拟机位置

 2.  在conf/core-site.xml文件中增加如下内容：

 

 

              fs.default.name

              hdfs://localhost:9000

       

       是hadoop文件系统依赖的基础配置，很多路径都依赖它。

                  如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中-->

 

      hadoop.tmp.dir

       /home/hdfs/tmp

   

 3.  在conf/hdfs-site.xml中增加如下内容：

       

     

         dfs.replication

         1

    

 

          

           

             dfs.name.dir

             /home/hdfs/name

       

       

        dfs.data.dir

        /home/hdfs/data

   

 

 

               解决：org.apache.hadoop.security.AccessControlException:Permission                                               denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。

因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入hdfs文件系统     中，对应的也就是 HDFS 上的/user/hadoop ,  由于 DrWho 用户对hadoop目录并没有写入权限，所以导致异常的发生。解决方法为：放开 hadoop 目录的权限， 命令如下 ：$ hadoop fs -chmod 777 /user/hadoop -->

                

                   dfs.permissions

                   false

                      If "true", enable permission checking in HDFS. If "false", permission checking is turned                     off,   but all other behavior is unchanged. Switching from one parameter value to                                   the other does   not change the mode, owner or group of files or directories

             

        

 

   4.  在conf/mapred-site.xml中增加如下内容：

      

        mapred.job.tracker

       localhost:9001

     

 

原文详见：http://blog.csdn.net/lin_fs/article/details/7349497