搭建Hadoop伪分布式环境

前提:默认关闭防火墙、禁用SELinux、网络正常、配置计算机名称

node01
NameNode
SecondaryNameNode
DataNode
  1. 安装Hadoop和JDK

tar -zxvf hadoop-3.1.1.tar.gz -C /opt/hadoop/
rpm -ivh jdk-8u172-linux-x64.rpm

  1. 配置环境变量

vim /etc/profile
添加:

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.1
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效:
. /etc/profile

  1. 配置免密钥登录

ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub node01

  1. 配置Hadoop

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/hadoop-env.sh
添加:

export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml
添加:


  
    fs.defaultFS
    hdfs://node01:9000
  
  
    hadoop.tmp.dir
    /opt/hadoop/data/tmp/pseudo
  

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
添加:


  
    dfs.replication
    1
  
  
    dfs.namenode.secondary.http-address
    node01:9868
  

vim /opt/hadoop/hadoop-3.1.1/etc/hadoop/workers
添加:

node01
  1. 格式化Hadoop

hdfs namenode -format
格式化是对Hadoop中的DataNode进行分块,并统计分块后所有初始元数据在NameNode中存储的位置,只需要在第一次启动Hadoop前执行。
格式化后,查看/opt/hadoop/hadoop-3.1.1/etc/hadoop/core-site.xmlhadoop.tmp.dir指定的目录下(/opt/hadoop/data/tmp/pseudo)是否有dfs目录,如果有则说明格式化成功。

  1. 启动Hadoop

start-dfs.sh

  1. 查看进程

jps

  1. 访问网页

NameNode:http://192.168.163.191:9870
DataNode:http://192.168.163.191:9864

你可能感兴趣的:(搭建Hadoop伪分布式环境)