hadoop配置手册

环境:

Hadoop-1 10.10.30.1  namehost ip

Hadoop-2:  10.10.30.2   namehost ip

 

部署步骤( JDK 安装不在描述)

1,  在每一台服务器上添加 hosts 记录

a)         Vi /etc/resole.conf

                         i.              Hadoop-1          10.10.30.1

                       ii.              Hadoop-2          10.10.30.2

2,  hadoop-1 ping hadoop-2 ping 通正常

3,  hadoop-2 ping hadoop-1 ping 通正常

4,  在每一台机器上分别创建 hadoop 用户(次用户名可自定义)

a)         Useradd hadoop

5,  设置 ssh 免密码登陆

Set 1 Hadoop-1

a)         [hadoop-1@root~]mkdir .ssh

b)         [hadoop-1@root~]ssh-keygen –t rsa

c)         [hadoop-1@root~]cd .ssh

d)         [hadoop-1@root~]cp id_rsa.pub authrized_keys

e)         Authrized_keys   scp 到其他所有的 hadoop 机器上

f)          Scp authrized_keys hadoop-2:/home/  需要输入 hadoop 用户名和密码

Set2 hadoop-2

         a)[hadoop-2@hadoop~]mkdir .ssh

        b)[hadoop-2@hadoop~]cp authrized_keys .ssh

         c)[hadoop-2@hadoop~]chmod 755 .ssh

         d)[hadoop-2@hadoop~]chmod 644 .ssh/ authrized_keys

这一步非常关键,必须保证 authorized_keys 只对其所有者有读写权限,其他人不允许有写的权限,否则 SSH 是不会工作的。

g)         测试是否可无密码登陆

6,   Hadoop 安装

a)         mkdir /home/hadoop/hadoop/tmp

b)         mkdir /home/hadoop/hadoop/data

c)         mkdir /home/hadoop/hadoop/name

d)         hadoop 包解压的对应的目录

                         i.              Conf hadoop 所有配置文件的存放位置

                       ii.              vi hadoop/conf/core-site.xml

1.         <name>hadoop.tmp.dir</name>

2.         <value>/home/hadoop/hadoop/tmp</value>   #hadoop 临时目录存放位置

3.           <name>fs.default.name </name>

4.            <value>hdfs://192.168.0.56:7771 </value>  hadoop 对外访问的 ip port

                      iii.              vi hadoop/conf/hadoop-env.sh

1.         9 export JAVA_HOME=/tools/java 修改对应的 java 目录

                      iv.              vi hadoop/conf/hdfs-site.xml 

1.         <configuration>

2.                 <!--property>

3.                         <name>dfs.name.dir</name>

4.                         <value>/home/hadoop/hadoop/name</value>

5.                 </property-->

6.                 <property>

7.                         <name>dfs.data.dir</name>

8.                         <value>/home/hadoop/hadoop/data</value>

9.                 </property>

10.             <property>

11.                     <name>dfs.replication</name>

12.                     <value>3</value>

13.             </property>

14.      </configuration>

a)         修改想对应 name data 的存放位置,其他不需要修改

                       v.              Vi  hadoop/conf/master   直接添加 hadoop   master 的主机名

                      vi.              Vi  hadoop/conf/slave   直接添加 hadoop    slave 的所有主机名(每个主机一行)

                    vii.              Vi hadoop/conf/mapred-site.xml

1.         <configuration>

2.                 <property>

3.                         <name>mapred.job.tracker</name>

4.                         <value>192.168.0.56:8888 </value>

5.                 </property>

6.         </configuration>

a)         修改 mapred 的工作 ip port       

7,  进入 hadoop bin 目录 , sbin/start-dfs.sh 启动

8,  使用 jps 命令查看正常与否

                                                     i.              [root@map1 conf]# jps      master jps 输出

5365 NameNode

5557 SecondaryNameNode

5649 JobTracker

你可能感兴趣的:(hadoop,ssh)