hadoop2.4安装部署——亲手测试通过



机器与环境 192.168.100.150 redhat，jdk 1.6.0_30 

1、linux rh 下安装hadoop
 1）下载：http://mirror.esocc.com/apache/hadoop/common/current/hadoop-2.4.0.tar.gz
 2）进入/home/kris/ 解压文件到当前目录：tar xzvf hadoop-2.4.0.tar.gz -C ./
 3）配制环境变量（由于之前已经安装了jdk1.6.0_30）,这里只配制hadoop变量
  export HADOOP_PREFIX=/home/kris/hadoop-2.4.0
  export PATH=$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_PREFIX?BIN:$PATH
  export HADOOP_PREFIX PATH CLASSPATH
 4）进入hadoop2.4.0文件夹，配置etc/hadoop中的文件,添加：
  export JAVA_HOME=/usr/java/jdk1.6.0
  export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
  export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
 5）配制core-site.xml
  
   
    fs.default.name
    hdfs://localhost:9000
   
   
    dfs.namenode.name.dir
    file:/home/kris/hadoop-2.4.0/dfs/name
   
   
    dfs.datanode.data.dir
    file:/home/wbq/hadoop-2.4.0/dfs/data
   
  
 6）配制hdfs-site.xml，
  
   
    dfs.replication
    
    1
   
   
    dfs.namenode.name.dir
    /home/kris/hadoop-2.4.0/dfs/name
   
   
    dfs.datanode.data.dir
    /home/kris/hadoop-2.4.0/dfs/data
   
  
 7）配制mapred-site.xml
  
   
    mapreduce.jobtracker.address
    localhost:9001
   
  
 8）配置yarn-site.xml
  

  
   
    mapreduce.framework.name
    yarn
   
   
    yarn.nodemanager.aux-services
    mapreduce_shuffle
   
  
 9）ssh免密码登陆设置。--ssh链接是需要密码认证的，可以通过添加系统认证（即公钥-私钥）的修改，修改后系统间切换可以避免密码输入和ssh认证。
  1- 修改文件：vi /etc/ssh/sshd_config
   RSAAuthentication yes         开启RSA加密方式
   PubkeyAuthentication yes      开启公钥认证
   AuthorizedKeysFile .ssh/authorized_keys      公钥存放位置

   PasswordAuthentication no     拒绝使用密码登录

   GSSAPIAuthentication no       防止登录慢，以及报错问题

   ClientAliveInterval 300                      300秒超时自动退出
   ClientAliveCountMax 10                   允许SSH远程连接的最大数

  
  在root根目录下，ssh-keygen -t rsa -P '' 回车，然后输入密码，即可完成ssh协议下的安全通信。
2、运行hadoop
 1）到hadoop2.4.0目录下./bin/hadoop namenode –format格式化结点信息
 2）sbin/start-all.sh
 3）浏览器下http://localhost:50070 查看hdfs的页面
 4）http://localhost:8088 hadoop进程管理页面