Hadoop伪分布构建(保姆式教程)

1、新建一个虚拟机,可参考这篇,有详细的过程

(92条消息) Hadoop 新建一个虚拟机详细步骤(保姆式教程)_小镭敲代码的博客-CSDN博客

Hadoop伪分布构建(保姆式教程)_第1张图片

2、 查看虚拟机的IP地址

 ip a

ifup ens33

ip a

Hadoop伪分布构建(保姆式教程)_第2张图片

在Xshell里面新建一个会话

Hadoop伪分布构建(保姆式教程)_第3张图片

 3、配置java环境

现在/opt里创建一个soft文件

Hadoop伪分布构建(保姆式教程)_第4张图片

 (1)上传 jdk 压缩文件到 soft 目录。

(2)解压 jdk 压缩文件到 opt 目录,并将 jdk1.8.0_112 目录变为 jdk。

cd /opt
tar -zxvf soft/jdk-8u112-linux- x64.tar.gz

mv jdk1.8.0_112/ jdk

Hadoop伪分布构建(保姆式教程)_第5张图片

 (3)在 hadoop-eco.sh 中添加相关内容后,保存并退出。

输入:vi /etc/profile.d/hadoop-eco.sh
    JAVA_HOME=/opt/jdk
    PATH=$JAVA_HOME/bin:$PATH
输入:source /etc/profile.d/hadoop-eco.sh  (保存并使环境生效)
输入:java -version(查看java是否配置成功)

 Hadoop伪分布构建(保姆式教程)_第6张图片

 4、配置hadoop环境(前部分大致和配置java环境一样)

1)上传 Hadoop 压缩文件到 soft 目录
2)解压 Hadoop 压缩文件到 opt 目录,并将Hadoop.2.7.1 目录变为 Hadoop
cd /opt
tar –zxvf soft/hadoop.2.7.1.tar.gz
mv hadoop.2.7.1/ hadoop

 配置hadoop环境变量

 (3)输入:vi /etc/profile.d/hadoop-eco.sh
  在 hadoop-eco.sh 中追加相关内容后,保存并退出。追加的内容如下:
  HADOOP_HOME=/opt/hadoop
  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
(4)输入:source /etc/profile.d/hadoop-eco.sh

(5) 在创建分布式时,需先手动创建 Hadoop 工作需要的目录
      (a)NameNode 数据存放目录为 /opt/hadoop-record/name。
      (b)SecondaryNameNode 数据存放目录为 /opt/hadoop-record/secondary。
      (c)DataNode 数据存放目录为 /opt/hadoop-record/data。
      (d)临时数据存放目录为 /opt/hadoop-record/tmp。

Hadoop伪分布构建(保姆式教程)_第7张图片

 (6)hadoop-env.sh 的配置:

修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk

Hadoop伪分布构建(保姆式教程)_第8张图片

(7)yarn-env.sh 的配置:

修改 JAVA_HOME 的地址为 exprot JAVA_HOME=/opt/jdk 

Hadoop伪分布构建(保姆式教程)_第9张图片

 (8)core-site.xml 的配置:


    
    
        fs.defaultFS
        hdfs://localhost:9000
    
    
    
        hadoop.tmp.dir
        file:///opt/hadoop-record/tmp
    

(9)mapred-site.xml的配置:


	
		
		mapreduce.framework.name
		yarn
	

 (10)hdfs-site.xml 的配置


    
        
        dfs.replication
        1
    
    
        
        dfs.namenode.name.dir
        file:///opt/hadoop-record/name
    
    
        
        dfs.datanode.data.dir
        file:///opt/hadoop-record/data
    

(11)yarn-site.xml 的配置


    
        
        yarn.resourcemanager.hostname
        localhost
    
    
        
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

(12)查看hadoop安装成功 

Hadoop伪分布构建(保姆式教程)_第10张图片

 5、启动hadoop

格式化 NameNode——hdfs namenode -format
启动 HDFS——start-dfs.sh    
移动YARN——start-yarn.sh
浏览器IP——50070

 

Hadoop伪分布构建(保姆式教程)_第11张图片 

 6、配置免密

生成密钥
ssh-keygen -t rsa
将本机的公钥拷贝本机
ssh-copy-id -i root@localhost

 Hadoop伪分布构建(保姆式教程)_第12张图片

 Hadoop伪分布构建(保姆式教程)_第13张图片

 

你可能感兴趣的:(Hadoop,hadoop,分布式)