安装hadoop

安装前的一些环境配置:

1. 给用户添加sudo权限，输入su - 进入root账号，然后输入visudo，进入编辑模式，找到这一行："root ALL=(ALL) ALL"在下面添加"xxx ALL=(ALL) ALL"(这里的xxx是你的用户名)，然后保存退出。

2. 输入sudo vi /etc/hosts，添加一行127.0.0.1   hadoop001，保存退出。

3. 将JDK压缩包解压到某一目录下tar -zxvf jdk-8u71-linux-x64.gz，并且配置JAVA_HOME以及HADOOP_HOME参数。用文本编辑器打开/etc/profile, 在profile文件末尾加入: 

export JAVA_HOME=/usr/local/jdk1.8.0_72
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

重新登录后即可生效。

具体安装hadoop步骤:

1. 解压hadoop文件到某一目录下 tar -zxvf hadoop-2.7.2.tar.gz，修改解压后的目录中的文件夹etc/hadoop下的配置文件

(1) 将JDK路径添加到hadoop-env.sh中

export JAVA_HOME=/usr/local/jdk1.8.0_72

(2) 修改mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

(3) 修改core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9001</value>
  </property>
</configuration>

(4) 修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-2.7.2/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-2.7.2/dfs/data</value>
  </property>
</configuration>

(5) 修改yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

4. 格式化namenode

hadoop namenode -format

5. 依次启动namenode,datanode,resourcemanager

./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
./start-yarn.sh

6. 在浏览器中访问localhost:50070查看HDFS情况，访问localhost:8088查看Yarn运行情况。