linux hadoop伪分布式环境搭建

• 下载hadoop-2.8.0.tar.gz
• 下载jdk-8u144-linux-x64.tar.gz

1.进入linux创建目录用来存放软件与安装(我这是普通用户，非root用户)

sudo mkdir -p /opt/tools
sudo mkdir -p /opt/modules

• 修改文件夹权限为flygar

sudo chown flygar: /opt/tools/
sudo chown flygar: /opt/modules/

• 连上Transmit,将下载好的hadoop-2.8.0.tar.gz，jdk-8u144-linux-x64.tar.gz拖入/opt/tools

• ip与主机名映射

vim /etc/hosts

192.168.0.128  flygar

• 关闭防火墙

sudo chkconfig iptables off

• 关闭selinux

vim /etc/sysconfig/selinux

SELINUX=disabled

• 配置visudo(命令模式99gg的地方插入)

sudo visudo

flygar  ALL=(root)      NOPASSWD:ALL

2.安装jdk

• 检查并卸载自带的openjdk

yum list installed | grep 'java'
java-1.6.0-openjdk.x86_64
java-1.7.0-openjdk.x86_64
tzdata-java.noarch      2012j-1.el6     @anaconda-CentOS-201303020151.x86_64/6.4

sudo yum remove java-1.6.0-openjdk.x86_64 -y
sudo yum remove java-1.7.0-openjdk.x86_64 -y
sudo yum remove tzdata-java.noarch -y

• 解压并安装到 /opt/modules

tar -zxvf /opt/tools/jdk-8u144-linux-x64.tar.gz -C /opt/modules/

• 配置环境变量

sudo chmod o+w /etc/profile
vim /etc/profile

export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

• 刷新环境变量

source /etc/profile

3.安装hadoop

• 解压并安装到 /opt/modules

tar -zxvf /opt/tools/hadoop-2.8.0.tar.gz -C /opt/modules/

• 修改配置jdk

Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/hadoop-env.sh 鼠标右键Edit in Transmit 第25行修改为绝对路径：export JAVA_HOME=/opt/modules/jdk1.8.0_144保存并退出

Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/mapred-env.sh 鼠标右键Edit in Transmit 第16行修改为(#删掉)：export JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出

Transmit连接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/yarn-env.sh 鼠标右键Edit in Transmit 第26行修改为绝对路径：JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出

• 修改配置HDFS
  Transmit连接进入 /opt/modules/hadoop-2.8.0/etc/hadoop/

修改core-site.xml
指定访问地址与存储目录

把flygar修改为你的hostname

修改hdfs-site.xml
指定保存副本文件个数为1

指定保存副本文件个数为1

修改slaves
删除第一行的loaclhost，换成你的hostname

4.格式化

 /opt/modules/hadoop-2.8.0/bin/hdfs namenode -format

5.修改配置yarn

重命名 mapred-site.xml.templatable 为 mapred-site.xml 并修改

指定mapreduce运行在yarn上

修改yarn-site.xml

指定yarn运行使用mapreduce_shuffle

6.启动服务

/opt/modules/hadoop-2.8.0/sbin/hadoop-daemon.sh start namenode

/opt/modules/hadoop-2.8.0/sbin/hadoop-daemon.sh start datanode

/opt/modules/hadoop-2.8.0/sbin/yarn-daemon.sh start resourcemanager

/opt/modules/hadoop-2.8.0/sbin/yarn-daemon.sh start nodemanager


jps
3907 Jps
3875 NodeManager
3638 NameNode
3419 ResourceManager
3692 DataNode

7.test

• 50070
  

  successful

• 8088
  
  

  successful