Hadoop2伪分布式安装

Hadoop2伪分布式安装：

 

1、Java环境变量配置

 

在.bash_profile文件中加入如下环境变量：

 

####################JAVAHOME####################

 

exportJAVA_HOME=/usr/lib/jvm/jre-1.6.0-openjdk.x86_64

 

exportJRE_HOME=$JAVA_HOME/jre

 

exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

 

exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

 

执行source.bash_profile使环境变量生效。

 

2、ssh无密码验证配置

 

ssh-keygen -t rsa -P ""

 

进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的：

 

cd ~/.ssh

 

cat id_rsa.pub>> authorized_keys

 

3、修改配置文件

 

修改的配置文件都在$HADOOP_HOME/etc/hadoop目录下：

 

core-site.xml、hdfs-site.xml、mapred-site.xml

修改配置文件hdfs-site.xml

修改mapred-site.xml


   确认ssh可用：ssh localhost
   如果ssh不成功，则可以使用以下命令
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

   执行测试：
   首先格式化一个新的分布式系统：

      #bin/hadoop namenode -format

      启动hadoop守护进程
    #bin/start-all.sh

   hadoop守护进程的日志会保存在HADOOP_LOG_DIR所指定的位置
   将输入目录复制到分布式系统：
   bin/hadoop fs -put conf input

      运行测试实例
    bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

      检查输入结果
     bin/hadoop fs -get output output 
     cat output/*