Hadoop实战-中高级部分 之 Hadoop 集群安装

Hadoop RestFul

Hadoop HDFS原理1

Hadoop HDFS原理2

Hadoop作业调优参数调整及原理

Hadoop HA

Hadoop MapReduce高级编程

Hadoop IO

Hadoop MapReduce工作原理

Hadoop 管理

Hadoop 集群安装

Hadoop RPC

第一部分：环境规划

用户 test 密码 test

机器

主机名	IP	角色
bigdata-1	172.16.206.205	NameNode JobTraker Sencondary NameNode
bigdata-2	172.16.206.231	DataNode TaskTracker

NameNode元数据目录

/home/test/dfs/namenode

DataNode 数据存放目录

/home/test/dfs/datanode

Sencondary NameNode

/home/test/dfs/sencondnode

第二部分：安装JDK并配置环境变量

安装 JDK 并配置环境变量

2 台机器做同样的事情

更改执行权限

chmod +x jdk-6u24-linux-i586.bin

安装

./jdk-6u24-linux-i586.bin

配置环境变量

Home路径下，打开.bashrc文件，命令如下

vi .bashrc

添加JAVA环境变量

export JAVA_HOME=/home/hadoop/java

export PATH=$JAVA_HOME/bin:$PATH

第三部分：建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

第四部分：安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

解压Hadoop，到/home/test路径下

tar zxvf hadoop-1.0.0.tar.gz

建立软连接

ln �Cs   hadoop-1.0.0  hadoop

配置环境变量

vi  .bashrc

添加如下内容

         export HADOOP_CORE_HOME=/home/test/ hadoop

         export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

第五部分：配置Hadoop集群

core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://bigdata-1:9000</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

       <value>/home/test/dfs/sencondnode</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

           <name>dfs.name.dir</name>

    <value>/home/test/dfs/namenode </value>

</property>

<property>

            <name>dfs.data.dir</name>

            <value> >/home/test/dfs/datanode</value>

</property>

<property>

     <name>dfs.replication</name>

       <value>1</value>

</property>

</configuration>

mapred-site.xml

<configuration>

<property>

 <name>mapred.job.tracker</name>

 <value>bigdata-1:9001</value>

</property>

</configuration>

master与slaves

master

    文件添加内容如下

                  bigdata-1

   Slaves

    文件添加内容如下

                   bigdata-2

Hadoop-env.sh

export JAVA_HOME=/home/tes/soft/java

第六部分：启动Hadoop集群

启动Hadoop集群

hadoop namenode -format

start-all.sh

start-dfs.sh start-mapred.sh

hadoop-deamon.sh start  namenode

                                             datanode

                                             jobtracker

                                             tasktracker

                                             sencondnamenode

第七部分：测试WordCount 程序

测试WordCount 程序

hadoop fs �Cmkdir input

hadoop fs �Cput test.txt input

hadoop jar  hadoop-examples-*.jar   wordcount  input output

转载请注明出处【   http://sishuok.com/forum/blogPost/list/0/5969.html 】