Hadoop实战-中高级部分 之 Hadoop 集群安装

Hadoop RestFul

Hadoop HDFS原理1

Hadoop HDFS原理2

Hadoop作业调优参数调整及原理

Hadoop HA

Hadoop MapReduce高级编程

Hadoop IO

Hadoop MapReduce工作原理

Hadoop 管理

Hadoop 集群安装

Hadoop RPC

第一部分：环境规划

•用户 test 密码 test

•机器

主机名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTraker Sencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

•NameNode元数据目录

•/home/test/dfs/namenode

•DataNode 数据存放目录

•/home/test/dfs/datanode

•Sencondary NameNode

•/home/test/dfs/sencondnode

            

           

第二部分：安装JDK并配置环境变量

安装  JDK 并配置环境变量

 

•2 台机器做同样的事情

•更改执行权限

•chmod +x jdk-6u24-linux-i586.bin

•安装

•./jdk-6u24-linux-i586.bin

•配置环境变量

•Home路径下，打开.bashrc文件，命令如下

•vi .bashrc

•添加JAVA环境变量

•export JAVA_HOME=/home/hadoop/java

•export PATH=$JAVA_HOME/bin:$PATH

 

 

第三部分：建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata  -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

             

      

第四部分：安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

•解压Hadoop，到/home/test路径下

• tar zxvf hadoop-1.0.0.tar.gz

•建立软连接

•ln –s   hadoop-1.0.0  hadoop

•配置环境变量

•vi  .bashrc

•添加如下内容

          export HADOOP_CORE_HOME=/home/test/ hadoop

          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

 

 

第五部分：配置Hadoop集群

core-site.xml

fs.default.name

hdfs://bigdata-1:9000

fs.checkpoint.dir

        /home/test/dfs/sencondnode

hdfs-site.xml

            dfs.name.dir

     /home/test/dfs/namenode

             dfs.data.dir

             >/home/test/dfs/datanode

      dfs.replication

        1

  

mapred-site.xml

  mapred.job.tracker

  bigdata-1:9001

master与slaves

•master

     文件添加内容如下

                   bigdata-1

•    Slaves

     文件添加内容如下

                    bigdata-2

Hadoop-env.sh

•export JAVA_HOME=/home/tes/soft/java

 

第六部分：启动Hadoop集群

启动Hadoop集群

•hadoop namenode -format

•start-all.sh

•start-dfs.sh start-mapred.sh

•hadoop-deamon.sh start  namenode

                                              datanode

                                              jobtracker

                                              tasktracker

                                              sencondnamenode

  

第七部分：测试WordCount 程序 

测试WordCount 程序

•hadoop fs –mkdir input

•hadoop fs –put test.txt input

•hadoop jar  hadoop-examples-*.jar   wordcount  input output

 

转载请注明出处【    http://sishuok.com/forum/blogPost/list/0/5969.html 】