大数据04-Hadoop 基础

下载hadoop-2.7.5进行演示

1、解压

2、配置

配置文件在$HADOOP_HOME/etc/hadoop/目录下

hadoop-env.sh
修改他的 JAVA_HOME

core-site.xml
配置默认文件系统和临时目录

fs.defaultFS
hdfs://localhost:8020


hadoop.tmp.dir
/app/hadoop-2.7.5/data

hdfs-site.xml
配置副本数

dfs.replication
1

vim slaves
修改域名

namenode 格式化

在$HADOOP_HOME/bin 目录下

./hdfs namenode -format

namenode 格式化成功

启动 Hadoop

在 $HADOOP_HOME/sbin 目录

先启动 hdfs

./start-dfs.sh

之后一路 yes 加上 Linux 的密码

使用 jps查看下

dfs 启动

可以看到 NameNode 、DataNode和SecondaryNameNode 都成功启动了

浏览器输入 http://192.168.31.122:50070/,可以看到

image

搭建 Yarn

进入$HADOOP/etc/hadoop/目录
拷贝一份mapred-site.xml进行配置

 cp mapred-site.xml.template mapred-site.xml

配置 yarn 作为 MapReduce 的调度框架

mapreduce.framework.name
yarn

配置vim yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle

启动 yarn,进入$HADOOP_HOME/sbin/目录

./start-yarn.sh

查看启动 yarn

可以浏览器打开 http://192.168.31.122:8088

image

测试

测试 HDFS

测试 yarn
进入目录 $HADOOP_HOME/share/hadoop/mapreduce

image

执行

hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 2 3

可以同时浏览http://192.168.31.122:8088/cluster

image

image

到此为止 Hadoop 环境基本成功