测试环境:


系统: centos 5.5
安装包: hadoop-0.20.2.tar.gz jdk1.6.0
虚拟机三台: 192.168.1.239为namenode 192.168.1.123为datanode123 192.168.1.222为datanode222

目的:

    对hadoop安装配置使用做一个初步的认识。为深入研究了学习hadoop做一个铺垫。


1.. 配置ssh无密码登录和hosts文件
2.. 安装 jdk环境
3.. 系统环境变量配置
4.. 安装配置hadoop


1.. 配置ssh无密码登录
    使用namenode.hdp.com能够登录两台datanode222和datanode123

   
   
   
   
    
    
    
    
    
  1. ssh-keygen -t rsa 
    2. 
    
    
    
    
  2. cat .ssh/id_rsa.pub | ssh [email protected] "cat >>/home/hadoop/.ssh/authorized_keys" 
    3. 
    
    
    
    
  3. cat .ssh/id_rsa.pub | ssh [email protected] "cat >>/home/hadoop/.ssh/authorized_keys" 
    4.


测试
ssh 192.168.1.123
ssh 192.168.1.222

cat /etc/hosts

   
   
   
   
    
    
    
    
    
  1. #### hadoop 
    2. 
    
    
    
    
  2. 192.168.1.239 namenode.hdp.com 
    3. 
    
    
    
    
  3. 192.168.1.222 datanode222.hdp.com 
    4. 
    
    
    
    
  4. 192.168.1.123 datanode123.hdp.com 
    5.



测试
ping namenode.hdp.com

2.. 安装 jdk环境
./jdk-6u33-linux-i586.bin
最后按一下回车即可.

3..  系统环境变量配置
vim /etc/profile
在文件最后加上

   
   
   
   
    
    
    
    
    
  1. export JAVA_HOME=/usr/local/jdk1.6.0_33 
    2. 
    
    
    
    
  2. export JRE_HOME=/usr/local/jdk1.6.0_33/jre 
    3. 
    
    
    
    
  3. export CLASSPATH=".:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH" 
    4. 
    
    
    
    
  4. export PATH="$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" 
    5.



测试java环境

   
   
   
   
    
    
    
    
    
  1. [root@station jdk1.6.0_33]# java -version 
    2. 
    
    
    
    
  2. java version "1.6.0_33" 
    3. 
    
    
    
    
  3. Java(TM) SE Runtime Environment (build 1.6.0_33-b04) 
    4. 
    
    
    
    
  4. Java HotSpot(TM) Client VM (build 20.8-b03, mixed mode, sharing) 
    5.



4.. 安装配置hadoop
tar zxvf hadoop-0.20.2.tar.gz
cd hadoop-0.20.2

配置：

   
   
   
   
    
    
    
    
    
  1. vim hadoop-env.sh 
    2. 
    
    
    
    
  2. export JAVA_HOME=/usr/local/jdk1.6.0_33 
    3. 
    
    
    
    
  3.  
    4. 
    
    
    
    
  4. vim core-site.xml 
    5. 
    
    
    
    
  5. xml version="1.0"?> 
    6. 
    
    
    
    
  6. xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8.  
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. <configuration> 
    11. 
    
    
    
    
  11.     <property> 
    12. 
    
    
    
    
  12.         <name>hadoop.tmp.dirname> 
    13. 
    
    
    
    
  13.         <value>/home/hadoop/tmpvalue> 
    14. 
    
    
    
    
  14.     property> 
    15. 
    
    
    
    
  15.     <property> 
    16. 
    
    
    
    
  16.         <name>fs.default.namename> 
    17. 
    
    
    
    
  17.         <value>hdfs://namenode.hdp.com:9000value> 
    18. 
    
    
    
    
  18.     property> 
    19. 
    
    
    
    
  19. configuration> 
    20. 
    
    
    
    
  20.  
    21. 
    
    
    
    
  21. vim hdfs-site.xml 
    22. 
    
    
    
    
  22. xml version="1.0"?> 
    23. 
    
    
    
    
  23. xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    24. 
    
    
    
    
  24.  
    25. 
    
    
    
    
  25.  
    26. 
    
    
    
    
  26.  
    27. 
    
    
    
    
  27. <configuration> 
    28. 
    
    
    
    
  28.     <property> 
    29. 
    
    
    
    
  29.         <name>dfs.name.dirname> 
    30. 
    
    
    
    
  30.         <value>/home/hadoop/namevalue> 
    31. 
    
    
    
    
  31.     property> 
    32. 
    
    
    
    
  32.     <property> 
    33. 
    
    
    
    
  33.         <name>dfs.data.dirname> 
    34. 
    
    
    
    
  34.         <value>/home/hadoop/datavalue> 
    35. 
    
    
    
    
  35.     property> 
    36. 
    
    
    
    
  36.     <property> 
    37. 
    
    
    
    
  37.         <name>dfs.replicationname> 
    38. 
    
    
    
    
  38.         <value>1value> 
    39. 
    
    
    
    
  39.     property> 
    40. 
    
    
    
    
  40. configuration> 
    41. 
    
    
    
    
  41.  
    42. 
    
    
    
    
  42. vim mapred-site.xml 
    43. 
    
    
    
    
  43. xml version="1.0"?> 
    44. 
    
    
    
    
  44. xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    45. 
    
    
    
    
  45.  
    46. 
    
    
    
    
  46.  
    47. 
    
    
    
    
  47.  
    48. 
    
    
    
    
  48. <configuration> 
    49. 
    
    
    
    
  49.     <property> 
    50. 
    
    
    
    
  50.         <name>mapred.job.trackername> 
    51. 
    
    
    
    
  51.         <value>localhost:9001value> 
    52. 
    
    
    
    
  52.     property> 
    53. 
    
    
    
    
  53. configuration> 
    54.



hadoop服务启动
首先文件系统格式化

   
   
   
   
    
    
    
    
    
  1. cd /home/hadoop/hadoop-0.20.2 
    2. 
    
    
    
    
  2. ./hadoop namenode -format 
    3.



start-all.sh（全部启动）

打开浏览器，分别输入网址：
    http://namenode.hdp.com:50030 (MapReduce的Web页面)   可以查看jobtracker状态,map reduce完成情况
    http://namenode.hdp.com:50070 (HDFS的Web页面)   可以查看到数据节点的状态

应该可看到下面截面

Linux hadoop安装配置_第1张图片

 

 

Linux hadoop安装配置_第2张图片

 

 点击Live Nodes 进入查看详细信息

Linux hadoop安装配置_第3张图片