Hadoop伪分布式配置

Hadoop伪分布式配置

Hadoop三种安装模式分别为单机模式，伪分布式，真正分布式，我选择的是伪分布式模式。
Hadoop伪分布式：一个节点

环境

1、阿里云服务器
2、xshell,xftp6
3、jdk-8u121-linux-x64
4、hadoop-2.7.3
（以下操作在xhell中完成）

主要步骤

一、关闭防火墙
1、systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙
2、firewall-cmd --state 显示防火墙状态running/not running

二、安装配置jdk/hadoop
1、将下载好的JDK、HADOOP通过xftp传入xshell

2、解压JDK、HADOOP
tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module 解压安装
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module 解压安装

3、配置jdk
vi /etc/profile文件添加：
export JAVA_HOME=/opt/module/jdk1.8.0_121
export PATH=$JAV{A}_{H}OME/bin:$PATH
source /etc/profile配置生效
javac检验是否成功

4、配置Hadoop
vi /etc/profile文件添加：
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH
Esc :wq!保存并退出。
source /etc/profile配置生效
hadoop检验是否成功

5.本地模式配置hadoop -env.sh
vi /opt/module/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件修改
显示行号 Esc :set number 取消行号Esc :set nonumber
修改第25行export JAVA_HOME=/opt/module/jdk1.8.0_121
Esc :wq!保存并退出
本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。

Hadoop伪分布式配置

有一台虚拟机，完成4个文件的配置
1、core-site.xml`

        fs.defaultFS
        hdfs://bigdata128:9000



        hadoop.tmp.dir
        /opt/module/hadoop-2.7.3/tmp
 

2、hdfs-site.xml

			 
		 
	     dfs.replication		 
	     1		 
		
 

         dfs.namenode.secondary.http-address
         bigdata129:50090

3、mapred-site.xml(该配置文件不存在，先复制)
cp mapred-site.xml.template mapred-site.xml

			 
			 
	  mapreduce.framework.name 
	  yarn 
	 

4、yarn-site.xml

			 
			 
	  yarn.resourcemanager.hostname 
	  bigdata128 
	 
			 
	 
	  yarn.nodemanager.aux-services 
	  mapreduce_shuffle 
	 

格式化： hdfs namenode -format
启动： start-all.sh
启动成功后运行jps命令，出现六个节点则说明配置成功
主机ip:50070显示网页

hadoop 词频统计

一、先写words文件
1、touch words创建文档
2、vim words编辑文字
3、more words查看文档

二、再将words上传到hdfs中，可以直接运行
bin/hadoop fs -put /opt/module/words指定文件路径 /words目标路
完成操作后在网页上查看词频统计