hadoop安装

安装

准备环境

# 关闭防火墙,方面后面浏览器访问测试
systemctl stop firewalld
systemctl disable firewalld

# 添加IP地址映射,方便后面地址配置
vim /etc/hosts
192.168.1.89 hadoop01

# 配置SSH免密登录,方便后面服务启动

ssh-keygen
ssh-copy-id hadoop01

安装JDK

解压 JDK
tar -zxf jdk-8u111-linux-x64.tar.gz

# 重命名 JDK
mv jdk1.8.0_111/ java
cp -rf java/ /usr/local

# 配置环境变量
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

# 重新加载配置文件,使上述配置生效
source ~/.bash_profile

# 验证 JDK 配置是否正确
java -version
java version "1.8.0_111"

安装hadoop

# 解压 Hadoop
tar -zxf hadoop-3.2.2.tar.gz

# 重命名 Hadoop 方便环境配置
mv hadoop-3.2.2 hadoop/
cp -rf hadoop/ /usr/local

## 配置环境变量,方便命令运行
vim ~/.bash_profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 重新加载配置文件,使上述配置生效
source ~/.bash_profile

# 验证

Hadoop配置是否正确
hadoop version
Hadoop 3.2.2

配置Hadoop

进入Hadoop配置文件所在目录: /usr/local/hadoop/etc/hadoop

# 配置Hadoop运行环境
vim hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改core-site.xml文件,添加如下代码


  
    
      fs.defaultFS
      hdfs://hadoop01:9000
    

    
    
      hadoop.tmp.dir
      /home/data/hadoop/data
    

    
    
      hadoop.http.staticuser.user
      hadoop01
    

修改hdfs-site.xml 文件,添加如下代码:


  
    
      dfs.replication
      1
    

    
    
      dfs.namenode.secondary.http-address
      hadoop01:9868
    

修改yarn-site.xml文件,添加如下代码:





    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        hadoop01
    

修改mapred-site.xml文件,添加如下代码:


  
    
      mapreduce.framework.name
      yarn
    

    
    
      mapreduce.application.classpath
      $HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*
    


修改workers 文件,替换localhost为当前主机节点名称,指定DataNode和NodeManager的数据节点

vim workers
hadoop01

格式化 hdfs 和启动

hdfs namenode -format

在 /usr/local/hadoop-3.3.4/sbin 下,启动,注意 不能 sh 开头执行,直接./开头

./start-all.sh

Starting namenodes on [node]
Starting datanodes
Starting secondary namenodes [node]
Starting resourcemanager
Starting nodemanagers

看一下是否有下列这些:

[root@node hadoop]# jps
64759 SecondaryNameNode
65176 NodeManager
64362 NameNode
65563 Jps
65019 ResourceManager
64542 DataNode

看是否正常,浏览

浏览 ResourceManager 的 Web 界面;默认情况下,它位于:

资源管理器: http://hadoop01:8088/
web查看HDFS 文件: http://hadoop01:9870/explorer.html#/

通过HDFS命令创建一个文件夹做测试

hdfs dfs -mkdir /test
hdfs dfs -ls -R /

你可能感兴趣的:(hadoop安装)