注意：以下操作对应 rhel5/centos5

 

1 获取cdh3 yum 源

   
   
   
   
    
    
    
    
    
  1. wget -c http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm 
    2.

2 安装下载的rpm 包

   
   
   
   
    
    
    
    
    
  1. yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm 
    2.

//安装后将得到 cloudera-cdh3.repo 文件

   
   
   
   
    
    
    
    
    
  1. [root@namenode ~]# ll /etc/yum.repos.d/ 
    2. 
    
    
    
    
  2. total 40 
    3. 
    
    
    
    
  3. -rw-r--r-- 1 root root 1926 Aug 29  2011 CentOS-Base.repo 
    4. 
    
    
    
    
  4. -rw-r--r-- 1 root root  631 Aug 29  2011 CentOS-Debuginfo.repo 
    5. 
    
    
    
    
  5. -rw-r--r-- 1 root root  626 Aug 29  2011 CentOS-Media.repo 
    6. 
    
    
    
    
  6. -rw-r--r-- 1 root root 5390 Aug 29  2011 CentOS-Vault.repo 
    7. 
    
    
    
    
  7. -rw-r--r-- 1 root root  201 Jul 14  2011 cloudera-cdh3.repo 
    8.

3 导入 rpm key

   
   
   
   
    
    
    
    
    
  1. rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera 
    2.

4 安装 hadoop 主程序

   
   
   
   
    
    
    
    
    
  1. yum install hadoop-0.20 
    2.

5  hadoop 

   
   
   
   
    
    
    
    
    
  1. namenode      
    2. 
    
    
    
    
  2. datanode      
    3. 
    
    
    
    
  3. secondarynamenode      
    4. 
    
    
    
    
  4. jobtracker      
    5. 
    
    
    
    
  5. tasktracker      
    6.

//比如安装 namenode 为: yum install hadoop-0.20-datanode ，不同角色安装不同服务

6 安装后 hadoop 目录

   
   
   
   
    
    
    
    
    
  1. //hadoop 配置文件目录 
    2. 
    
    
    
    
  2. [root@namenode ~]# ll /etc/hadoop/ 
    3. 
    
    
    
    
  3. total 8 
    4. 
    
    
    
    
  4. lrwxrwxrwx 1 root root   34 Feb 17 02:56 conf -> /etc/alternatives/hadoop-0.20-conf 
    5. 
    
    
    
    
  5. drwxr-xr-x 2 root root 4096 Feb 28 10:13 conf.empty 
    6. 
    
    
    
    
  6. drwxr-xr-x 2 root root 4096 Feb 28 10:15 conf.pseudo 
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8. //hadoop 日志目录 
    9. 
    
    
    
    
  9. [root@namenode ~]# ll /var/log/hadoop 
    10. 
    
    
    
    
  10. lrwxrwxrwx 1 root root 28 Feb 17 02:56 /var/log/hadoop -> /etc/alternatives/hadoop-log 
    11. 
    
    
    
    
  11.  
    12. 
    
    
    
    
  12. //hadoop 进程脚本 
    13. 
    
    
    
    
  13. [root@namenode ~]# ll /etc/init.d/ | grep hadoop 
    14. 
    
    
    
    
  14. -rwxr-xr-x 1 root root  3041 Feb 17 02:26 hadoop-0.20-datanode 
    15. 
    
    
    
    
  15. -rwxr-xr-x 1 root root  3067 Feb 17 02:26 hadoop-0.20-jobtracker 
    16. 
    
    
    
    
  16. -rwxr-xr-x 1 root root  3041 Feb 17 02:26 hadoop-0.20-namenode 
    17. 
    
    
    
    
  17. -rwxr-xr-x 1 root root  3158 Feb 17 02:26 hadoop-0.20-secondarynamenode 
    18. 
    
    
    
    
  18. -rwxr-xr-x 1 root root  3080 Feb 17 02:26 hadoop-0.20-tasktracker 
    19.

7 修改配置文档 (hdfs 方面)

   
   
   
   
    
    
    
    
    
  1. //slaves 配置文件 namenode 上配置即可 
    2. 
    
    
    
    
  2. cat /etc/hadoop/conf/slaves 
    3. 
    
    
    
    
  3.  
    4. 
    
    
    
    
  4. datanode1 
    5. 
    
    
    
    
  5. datanode2 
    6. 
    
    
    
    
  6.  
    7. 
    
    
    
    
  7. //hdfs-site.xml 配置文件 
    8. 
    
    
    
    
  8. cat /etc/hadoop/conf/hdfs-site.xml 
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. xml version="1.0"?> 
    11. 
    
    
    
    
  11. xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    12. 
    
    
    
    
  12.  
    13. 
    
    
    
    
  13.  
    14. 
    
    
    
    
  14.  
    15. 
    
    
    
    
  15. <configuration> 
    16. 
    
    
    
    
  16.   <property> 
    17. 
    
    
    
    
  17.     <name>dfs.replicationname> 
    18. 
    
    
    
    
  18.     <value>1value> 
    19. 
    
    
    
    
  19.   property> 
    20. 
    
    
    
    
  20.   <property> 
    21. 
    
    
    
    
  21.      <name>dfs.permissionsname> 
    22. 
    
    
    
    
  22.      <value>falsevalue> 
    23. 
    
    
    
    
  23.   property> 
    24. 
    
    
    
    
  24.    
    25. 
    
    
    
    
  25.  
    26. 
    
    
    
    
  26. <property> 
    27. 
    
    
    
    
  27. <name>dfs.data.dirname> 
    28. 
    
    
    
    
  28. <value>/data/dfs/datavalue> 
    29. 
    
    
    
    
  29. property> 
    30. 
    
    
    
    
  30.  
    31. 
    
    
    
    
  31. <property> 
    32. 
    
    
    
    
  32. <name>hadoop.tmp.dirname> 
    33. 
    
    
    
    
  33. <value>/data/dfs/tmpvalue> 
    34. 
    
    
    
    
  34. property> 
    35. 
    
    
    
    
  35.  
    36. 
    
    
    
    
  36. <property> 
    37. 
    
    
    
    
  37. <name>dfs.datanode.max.xcieversname> 
    38. 
    
    
    
    
  38. <value>200000value> 
    39. 
    
    
    
    
  39. property> 
    40. 
    
    
    
    
  40.  
    41. 
    
    
    
    
  41.  
    42. 
    
    
    
    
  42. configuration> 
    43. 
    
    
    
    
  43.  
    44. 
    
    
    
    
  44. //core-site.xml 配置文件 
    45. 
    
    
    
    
  45. cat /etc/hadoop/conf/core-site.xml 
    46. 
    
    
    
    
  46.  
    47. 
    
    
    
    
  47. xml version="1.0"?> 
    48. 
    
    
    
    
  48. xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    49. 
    
    
    
    
  49.  
    50. 
    
    
    
    
  50.  
    51. 
    
    
    
    
  51.  
    52. 
    
    
    
    
  52. <configuration> 
    53. 
    
    
    
    
  53.  
    54. 
    
    
    
    
  54. <property> 
    55. 
    
    
    
    
  55. <name>fs.default.namename> 
    56. 
    
    
    
    
  56. <value>hdfs://namenode:8020value> 
    57. 
    
    
    
    
  57. property> 
    58. 
    
    
    
    
  58.  
    59. 
    
    
    
    
  59. configuration> 
    60.

8 java 环境

   
   
   
   
    
    
    
    
    
  1. //下载安装jdk 
    2. 
    
    
    
    
  2. chmod +x jdk-6u26-linux-x64-rpm.bin  
    3. 
    
    
    
    
  3. ./jdk-6u26-linux-x64-rpm.bin  
    4. 
    
    
    
    
  4.  
    5. 
    
    
    
    
  5. //编辑 profile 
    6. 
    
    
    
    
  6. vim /etc/profile 
    7. 
    
    
    
    
  7. export JAVA_HOME=/usr/java/jdk1.6.0_26 
    8. 
    
    
    
    
  8. export PATH=$JAVA_HOME/bin:$PATH 
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. //载入环境变量
    11. 
    
    
    
    
  11. souce /etc/profile
    12.

 

9 启动hadoop 相应进程

   
   
   
   
    
    
    
    
    
  1. [root@namenode ~]# /etc/init.d/hadoop-0.20-namenode start 
    2. 
    
    
    
    
  2. [root@namenode ~]# jps                                    
    3. 
    
    
    
    
  3. 5599 NameNode 
    4. 
    
    
    
    
  4. 12889 Jps 
    5.

 

参考

https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation