Hadoop集群搭建(-v1.2.1)

Hadoop集群搭建(-v1.2.1)

@[hadoop]

1. 官网下载安装包(版本: 1.2.1)
2. 安装依赖

• Java 和 ssh

3. 解压安装包，添加HADOOP_HOME变量到/etc/profile
4. 搭建集群

1. 机器规划(三台小集群)

主机名	IP	Node	Tracker
master	192.168.10.1	NameNode	JobTracker
slave1	192.168.10.1	DateNode	TaskTracker
slave2	192.168.10.2	DateNode	TaskTracker
slave3	192.168.10.3	DateNode	TaskTracker

1. 在三台机器上创建相同的用户: hadoop

2. 在三台机器上分别配置/etc/hosts

   192.168.10.1 master slave1
   192.168.10.2 slave2
   192.168.10.3 slave3

3. 在三台机器上建立ssh-key，并设置免密码登陆

   $ ssh-keygen -t dsa
   $ cat ~/ssh/id_dsa.pub >> ~/ssh/authorized_keys
   

   将authorized_keys文件内容复制到另外两台主机的~/ssh/authorized_keys文件中

4. 将Hadoop安装包复制到三台机器中，修改Hadoop中的配置文件

   • conf/Hadoop-env.sh
     export JAVA_HOME=path-to-jdk
   • conf/core-site.xml

     <configuration>
     <property>
     <name>fs.default.name</name>
     <value>hdfs://master:9000</value>
     </property>
     <property>
     <name>hadoop.tmp.dir</name>
     <value>/var/tmp/hadoop</value>
     </property>
     </configuration>
     

   • conf/hdfs-site.xml

     <configuration>
     <property>
     <name>dfs.repliation</name>
     <value>3</value>
     <!--value的值跟slave数一致 -->
     </property>
     </configuration>
     

   • conf/mapred-site.xml

     <configuration>
     <property>
     <name>mapred.job.tracker</name>
     <value>hdfs://master:9001</value>
     </property>
     </configuration>
     

   • conf/master
     master
   • conf/slave

     slave1
     slave2
     slave3
     

5. 启动Hadoop服务

$ bin/hadoop namenode -format  #格式化hdfs
$ bin/start-all.sh  # 启动所有进程
查看集群状态:
http://localhost:50030  # MapReduce的Web页面
http://localhost:50070  # HDFS的Web页面
或
$ hadoop dfsadmin -report

6. 停止Hadoop服务
bin/stop-all.sh