linux虚拟机下Hadoop集群分布式配置

         最近在搞hadoop，然后想在虚拟机下部署hadoop集群。搞了半天，有点小成果，就记下来。

         首先我们需要在官网下载hadoop http://hadoop.apache.org/ 我下载的是hadoop1.2.1  下载完使用SSH Secure File Transfer Client 上传到虚拟机中去  在集群中我使用了三个虚拟机，分别都上传上去/opt/

         检查jdk环境是否安装好，前面已经有介绍 jdk的安装方法

         #cd  /opt/    --进人到hadoop的压缩文件目录

         #tar -zxvf hadoop-1.2.1.tar.gz ---解压缩

         #ln -sf /opt/hadoop-1.2.1 /home/hadoop-1.2  --在home下创建hadoop-1.2.1的软链接

        #vi /etc/profile  --修改配置文件增加hadoop的环境变量 修改如下面2行 wq保存

         export HADOOP_HOME=/opt/hadoop-1.2.1

         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:

        #source  /etc/profile --是配置文件生效

        # cd

         #hadoop  验证hadoop环境变量是否配置好（成功了执行下一步）

         #cd /home/hadoop-1.2/config   --对hadoop的配置文件的配置

         #  vi core-site.xml    --配置如下

            
           

          

           
                
                    hadoop.tmp.dir
                     /hadoop
                
               
                    dfs.name.dir
                     /hadoop/name
                 
                 
                     fs.default.name
                     hdfs://xiaojun:9000   --填写namenode的的主机ip
                
            

         # vi  hdfs-site.xml   --配置如下

               
        
         

         

          
        
              dfs.data.dir
              /hadoop/data
          
        
              dfs.replication    --配置block的副本数
              2
        

         
~     # vi hadoop-env.sh  --修改hadoop  中jdk的环境

            export JAVA_HOME=/usr/java/jdk1.7.0_79

        # vi slaves  --配置datanode 的主机ip   这里设置了2个 分别输入其他2个虚拟机的IP

        # vi  masters  --配置SecondNameNode --为了方便我取上面配置的一个虚拟机ip

         #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa     --配置免密码登陆  --产生密钥

         #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  --将公共密钥放到本地的authororized_keys  ssh localhost 可以免登陆 没台都需要

        # cd .ssh/

        # scp id_dsa.pub  [email protected]:~             --将namenode的公钥复制到其他的2个datanode主机中。再复制到~/.ssh/authorized_keys

        然后就是保持3台虚拟机的hadoop上面的配置都一样 进入NameNode  hadoop的配置文件目录  scp ./*  [email protected]：/home/hadoop-1.2/conf

       #cd /home/hadoop-1.2/bin

       #./hadoop namenode -fromate   --初始化namenode

       #service iptables stop  关门防火墙

       #./start-dfs.sh  --开启验证 都成功的话，配置完成