06_Hadoop配置伪分布式模式详解

1. 查看IP地址，设为手动模式：

1. 配置hadoop用户sudo权限

   su切换到root身份，配置vim /etc/sudoers文件，加入

   hadoop ALL=(root)NOPASSWD:ALL    

   

2. 配置/opt文件夹的属主

   将/opt文件夹的属于由root:root改为hadoop

   sudo -R hadoop:hadoop /opt

3. 关闭防火墙和禁用SELinux

   # service iptables stop

   

   # vim /etc/sysconfig/selinux 设置 SELINUX=disabled

   

4. 查看（确认一下可省略）静态IP地址

# vi /etc/sysconfig/network-scripts/ifcfg-eth0

1. 修改HostName

   # hostname hadoop-master ##重启失效

   # vi /etc/sysconfig/network     ##永远有效

2. IP与Hostname绑定

   # vi /etc/hosts

   

3. 修改windows操作系统的hosts文件

   Càwindowsàsystem32àdriversàetcàhosts添加如下内容;

   

 

1. 设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信，无密码登录

1）$ ssh-keygen -t rsa ##在/home/hadoop目录下

2）$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3）$ping localhost

$ping hadoop-master

$ping hadoop-master.dragon.org

$ping 192.168.38.180

1. 准备工作

   在/opt文件夹下创建文件夹如下;

本课程软件安装的规则：

/opt    ---    父目录

/opt/modules    --    存放软件的安装目录

/opt/softwares    --    存放软件包（tar 包，bin 文件，zip 文件等）

/opt/tools    --    存储工具目录（Eclipse 等）

/opt/data    --    存储一些测试数据

/home/hadoop    --    存储工具盒测数据目录

1. 安装JDK

1) 安装jdk之前要先卸载以前的版本，防止出现其他问题

rpm -qa|grep jdk ##查找安装的jdk

    rpm -e --nodeps 【查找到的内容】

2）安装

直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了

配置环境变量 vim /etc/profile

1. Apache Hadoop伪分布模式安装

 $ tar -zxvf hadoop-1.2.1.tar.gz

设置环境变量/etc/profile 增加内容如下:

export HADOOP_HOME=/opt/modules/ hadoop-1.2.1

export PATH=.:$HADOOP_HOME/bin:$PATH

使设置生效

# source /etc/profile

    修改Hadoop中conf目录下的hadoop-env.sh文件，将Java的路径改为安装的路径

1. 修改conf目录下的配置文件（使用UltraExit操作）
   1. hadoop-env.sh

      上面已经修改

   2. core-site.xml

      

   3. hdfs-site.xml

      

   4. mapred-site.xml

      

   5. 格式化

      $ hadoop namenode -format

 

1. 至此已经配置完成下面启动五大守护进程

   在hadoop*安装目录中的bin目录下运行

   $start-all.sh

   查看启动结果：

   

2. 在Google浏览器中查看

   1)查看dfs：http://hadoop-master.dragon.org:50070/

2)查看MP：http://hadoop-master.dragon.org:50030/

1. 运行Wordcount测试

   $ hadoop fs -mkdir /wc

   $ hadoop fs -mkdir /wc/input

   $ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input

   $ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output

   运行结束

   

   结果图示

   

2. 关闭五大守护进程

   $ /bin/stop-all.sh

    

至此hadoop伪分布式模式安装并测试成功