hadoop集群安装与配置

硬件

  1. 五台服务器,一台master,三台slave,一台集群client
  2. 网络设置

机器名

IP

备注

Hadoop.mater

 ip1

Master,Namenode

Hadoop.slave1

 ip2

Slave

Hadoop.slave2

 ip3

Slave

Hadoop.slave3

 ip4

slave

Hadoop.client

 ip5

集群client,thrift服务承载

 

系统设置

  1. 安装操作系统centOS6.4版本
  2. 每台机器均配置/etc/hosts文件,将除client以外的机器全部按照网络设置解析
  3. 安装sun公司的Java-jdk,要求版本至少1.6以上,安装路径:/usr/java/default
  4. 每台机器配置/etc/profile文件,添加内容如下:

export  JAVA_HOME=/usr/java/default

export  JRE_HOME=/usr/java/default

export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export  PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

  1. 每台机器添加用户组hadoopgroup,命令如下:

groupadd hadoopgroup

  1. 每台机器添加用户hadoopuser

useradd  –G hadoopgroup

passwd  hadoopuser

  1. 设置ssh本地无密码登录验证

(1)     每台机器修改/etc/ssh/sshd_config

(2)     找到以下内容,并去掉注释符"#"
    RSAAuthentication yes
    PubkeyAuthentication yes
    AuthorizedKeysFile .ssh/authorized_keys

(3)    修改文件authorized_keys的权限

(4)    chmod 600 /home/用户名/.ssh/authorized_keys

(5)    生成用户密钥:

ssh-keygen  -t  dsa  -P  ''  -f  ~/.ssh/id_dsa

(6)    追加本地登录授权

Cat  ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys

(7)    验证面密码登录本机:

ssh localhost
出现下面的语句就表示成功了
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
在询问时回答yes注意区分大小写

  1. 设置集群无密码ssh登录

.ssh文件夹下生成的id_dsa.pub文件复制到所有机器上,并追加到目标机器授权

  1. scp  ~/.ssh/id_dsa.pub  hadoopuser@目标机器ip:~/
  2. ssh 目标机器ip
  3. cat  ~/id_dsa.pub >> ~/.ssh/authorized_keys
  4. exit

在每台需要无密码登录的服务器循环授权一遍

hadoop集群安装与配置

  1. 下载hadoop-1.1.2.tar.gz,hive-0.10.0.tar.gz,sqoop-1.4.3.bin_hadoop-1.0.0.tar.gz
  2. 将hadoop安装在/home/hadoopuser下
  3. 共同配置,修改conf/hadoop-env.sh的如下内容:

export  JAVA_HOME=/usr/java/default

  4.在根目录下创建/data/hadooptemp作为数据临时文件夹:

mkdir /data/hadooptemp

  5.基础配置

(1)    conf/core-site.xml:

<configuration>
     <property>
        <name>fs.default.name</name>
         <value>hdfs://masterIP:9000</value>
     </property>
<property>        
        <name>hadoop.tmp.dir</name>
         <value>/data/temp</value>
     </property>
</configuration>

(2)    conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

(3)    conf/mapred-site.xml:

<configuration>
     <property>
        <name>mapred.job.tracker</name>
         <value>masterIP:9001</value>
     </property>
</configuration>

  6.conf/master

masterIP1

masterIP2

masterIP3

……

  7. conf/slave

slaveIP1

slaveIP2

slaveIP3

…….

你可能感兴趣的:(centos,集群,HADOOP集群)