大数据开发之Hadoop集群安装教程

配置文件的修改
注意：以下所有操作都在node01主机进行。
1.1 hadoop-env.sh
1、介绍
文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

2、配置
cd /export/server/hadoop-3.0.0/etc/hadoop
vim hadoop-env.sh
添加以下内容:
export JAVA_HOME=/export/server/jdk1.8.0_2411.2 core-site.xml
1、介绍
hadoop的核心配置文件，有默认的配置项core-default.xml。
core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性大数据培训的值。
2、配置
在该文件中的标签中添加以下配置,
cd /export/server/hadoop-3.0.0/etc/hadoop
vim core-site.xml

配置内容如下:

fs.defaultFS
hdfs://node01:8020

hadoop.tmp.dir
/export/server/hadoop-3.0.0/hadoopDatas/tempDatas



io.file.buffer.size
4096



fs.trash.interval
10080


1.3 hdfs-site.xml
1、介绍
HDFS的核心配置文件，主要配置HDFS相关参数，有默认的配置项hdfs-default.xml。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。
2、配置
在该文件中的标签中添加以下配置,

在这里添加配置

cd /export/server/hadoop-3.0.0/etc/hadoop
vim hdfs-site.xml

配置以下内容


dfs.namenode.secondary.http-address
node02:50090



dfs.namenode.http-address
node01:50070



dfs.namenode.name.dir
file:///export/server/hadoop-3.0.0/hadoopDatas/namenodeDatas



dfs.datanode.data.dir
file:///export/server/hadoop-3.0.0/hadoopDatas/datanodeDatas



dfs.namenode.edits.dir
file:///export/server/hadoop-3.0.0/hadoopDatas/nn/edits



dfs.namenode.checkpoint.dir
file:///export/server/hadoop-3.0.0/hadoopDatas/snn/name


dfs.namenode.checkpoint.edits.dir
file:///export/server/hadoop-3.0.0/hadoopDatas/dfs/snn/edits



dfs.replication
3



dfs.permissions
false



dfs.blocksize
134217728



dfs.hosts
/export/server/hadoop-3.0.0/etc/hadoop/slaves

1.4 mapred-site.xml
1、介绍
MapReduce的核心配置文件，Hadoop默认只有个模板文件mapred-site.xml.template,需要使用该文件复制出来一份mapred-site.xml文件

2、配置
在mapred-site.xml文件中的标签中添加以下配置,

在这里添加配置

cd /export/server/hadoop-3.0.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

配置以下内容:


mapreduce.framework.name
yarn



mapreduce.job.ubertask.enable
true



mapreduce.jobhistory.address
node01:10020



mapreduce.jobhistory.webapp.address
node01:19888
1.5 mapred-env.sh
在该文件中需要指定JAVA_HOME,将原文件的JAVA_HOME配置前边的注释去掉，然后按照以下方式修改:
cd /export/server/hadoop-3.0.0/etc/hadoop
vim mapred-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_2411.6 yarn-site.xml
YARN的核心配置文件,在该文件中的标签中添加以下配置,

在这里添加配置

cd /export/server/hadoop-3.0.0/etc/hadoop
vim yarn-site.xml

添加以下配置：


yarn.resourcemanager.hostname
node01


yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.log-aggregation-enable
true



yarn.log-aggregation.retain-seconds
604800



yarn.nodemanager.resource.memory-mb
2048

      yarn.scheduler.minimum-allocation-mb
      2048

yarn.nodemanager.vmem-pmem-ratio
2.1
1.7 workers
1、介绍
workers文件里面记录的是集群主机名。一般有以下两种作用：
一是：配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候slaves文件里面的主机标记的就是从节点角色所在的机器。
二是：可以配合hdfs-site.xml里面dfs.hosts属性形成一种白名单机制。dfs.hosts指定一个文件，其中包含允许连接到NameNode的主机列表。必须指定文件的完整路径名,那么所有在workers中的主机才可以加入的集群中。如果值为空，则允许所有主机。
2、配置
cd /export/server/hadoop-3.0.0/etc/hadoop
vim workers
删除workers中的localhost，然后添加以下内容:
node01
node02
node03
数据目录创建和文件分发
注意：以下所有操作都在node01主机进行。
2.1 目录创建
创建Hadoop所需目录
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/tempDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/namenodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/datanodeDatas
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/nn/edits
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/snn/name
mkdir -p /export/server/hadoop-3.0.0/hadoopDatas/dfs/snn/edits2.2 文件分发
将配置好的Hadoop目录分发到node02和node03主机。
scp -r /export/server/hadoop-3.0.0/ node02:/export/server/
scp -r /export/server/hadoop-3.0.0/ node03:/export/server/配置Hadoop的环境变量
注意：三台机器都需要执行以下命令
vim /etc/profile
添加以下内容:
export HADOOP_HOME=/export/server/hadoop-3.0.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile启动集群
4.1 启动方式
要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。
在node01上执行格式化指令
hadoop namenode -format4.2 单节点逐个启动
在node01主机上使用以下命令启动HDFS NameNode：
hadoop-daemon.sh start namenode在node01、node02、node03三台主机上，分别使用以下命令启动HDFS DataNode：
hadoop-daemon.sh start datanode在node01主机上使用以下命令启动YARN ResourceManager：
yarn-daemon.sh start resourcemanager在node01、node02、node03三台主机上使用以下命令启动YARN nodemanager：
yarn-daemon.sh start nodemanager以上脚本位于/export/server/hadoop-3.0.0/sbin目录下。如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。
4.3 脚本一键启动
启动HDFS
start-dfs.sh
启动Yarn
start-yarn.sh
启动历史任务服务进程
mr-jobhistory-daemon.sh start historyserver启动之后，使用jps命令查看相关服务是否启动，jps是显示Java相关的进程命.
停止集群：stop-dfs.sh、stop-yarn.sh、mr-jobhistory-daemon.sh stophistoryserver
注意:如果在启动之后，有些服务没有启动成功，则需要查看启动日志，Hadoop的启动日志在每台主机的/export/server/hadoop-3.0.0/logs/目录，需要根据哪台主机的哪个服务启动情况去对应的主机上查看相应的日志。