hadoop伪分布式虚拟机环境搭建

在上一期的基础上只需要修改一下配置文件即可

附上上一期的地址

 

一、修改配置HDFS运行模式和运行时目录   core-site.xml 我的修改如下(配置文件都在(/opt/installed/hadoop-2.7.3/etc/hadoop目录下)):

hadoop伪分布式虚拟机环境搭建_第1张图片

配置hdfs-site.xml

hadoop伪分布式虚拟机环境搭建_第2张图片

配置hadoop-env.sh

hadoop伪分布式虚拟机环境搭建_第3张图片

配置yarn  yarn-env.sh

hadoop伪分布式虚拟机环境搭建_第4张图片

配置yarn-site.xml

hadoop伪分布式虚拟机环境搭建_第5张图片

配置maped-site.xml

你会发现没有mapred-site.xml我们需要把mapred-site.xml.template改为mapred-site.xml命令如下:

sudo mv mapred-site.xml.template mapred-site.xml

hadoop伪分布式虚拟机环境搭建_第6张图片

配置maped-env.sh

hadoop伪分布式虚拟机环境搭建_第7张图片

配置历史服务

hadoop伪分布式虚拟机环境搭建_第8张图片

配置日志功能在yarn-site.xml添加下列内容

hadoop伪分布式虚拟机环境搭建_第9张图片

格式化Namenode

hadoop伪分布式虚拟机环境搭建_第10张图片启动Namenode使用jps检查是否成功如下图启动成功

启动Datanode

使用jps查看是否启动成功

hadoop伪分布式虚拟机环境搭建_第11张图片

 

接下来启动resourcemanager

 

启动nodemanager

hadoop伪分布式虚拟机环境搭建_第12张图片

启动历史服务

以上都是单点启动

 启动dfs服务和yarn服务的另外方式


# 开启dfs,包括namenode,datanode,secondarynamenode服务

sbin/start-dfs.sh 


# 开启yarn,包括resourcemanager,nodemanager

sbin/start-yarn.sh


# 开启所有的服务(过时)

sbin/start-all.sh

hdfs的web客户端是http://192.168.32.20:50070(如果不能访问在其他一切正常的情况下关闭虚拟机防火墙)

hadoop伪分布式虚拟机环境搭建_第13张图片
YARN的Web客户端端口号是8088,通过http://192.168.32.20:8088/可以查看

hadoop伪分布式虚拟机环境搭建_第14张图片

运行MapReduce Job

在Hadoop的share目录中,自带jar包,里面有一些MapReduce的例子,位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar。以wordCount为例。

首先在hdfs创建输入目录

bin/hdfs dfs -mkdir -p /wordcounttest/input
创建测试文件wc.input,内容如下:

创建data目录

mkdir data

进入data目录

cd data

创建wc.input

vim wc.input

在文件中输入,如下内容


hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
将wc.input文件上传到HDFS的/wordcounttest/input目录下:

bin/hdfs dfs -put data/wc.input /wordcounttest/input
查看/wordcounttest/input目录

bin/hdfs dfs -ls /wordcounttest/input
运行WordCount MapReduce Job

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount  /wordcounttest/input /wordcounttest/output
查看输出结果目录

bin/hdfs dfs -ls /wordcounttest/output

 

 

 

 

你可能感兴趣的:(大数据)