软件版本：
CentOS Linux release 7.5.1804 (Core)
jdk1.8.0_251 链接: https://pan.baidu.com/s/1s4aXeoTDwk2D6iJfWqV9Fg 提取码: pq76
hadoop-2.10.0.tar.gz 链接: https://pan.baidu.com/s/1CEpCk9bFZdszISRPERDEDQ 提取码: 4hzi
主机分配：
主节点 192.168.10.1 Master
子节点1 192.168.10.2 Slave01
子节点2 192.168.10.3 Slave02
创建hadoop用户
所有的节点均创建一个名为hadoop的用户，并添加管理员权限。
注意：这里这是单纯为了方便管理，创建的用户名，也可以使用其他用户名，或者使用系统之前的用户，主要有管理员权限即可
$ sudo useradd -m hadoop -s /bin/bash #创建用户
$ sudo passwd hadoop #修改密码
$ sudo adduser hadoop sudo #添加管理员权限 配置网络环境
修改主机名
修改 /etc/hostname文件，每个节点都要修改。
主节点修改为：Master
从节点分别修改为：Slave01,Slave02,...
添加IP与主机名的映射关系
在/etc/hosts文件里添加如下内容（每个节点都要修改，根据实际情况修改ip)
192.168.10.1 Master
192.168.10.2 Slave01
192.168.10.3 Slave02
检查各个节点是否能相互ping通
设置SSH无密码登录节点
让Master能够通过SSH无密码登录各个Slave节点
如果修改过主机名，需要重新生成的新的公钥。
在Master上执行如下命令：
$ cd~/.ssh # 如果没有该目录，先执行一次ssh localhost
$ rm./id_rsa* # 删除之前生成的公匙（如果已经存在）
$ ssh-keygen -t rsa # 执行该命令后，遇到提示信息，一直按回车就可以
$ cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
接着将Master中的id_rsa.pub文件复制到各个Slave节点中
ssh-copy-id hadoop@Slave01
ssh-copy-id hadoop@Slave02
注意：一定要用hostname
在Master中验证是否可以无密码登录，各个Slave节点。
如：
$ ssh Slave01 #如果成功登录，则配置完成
$ ssh Slave02 #如果成功登录，则配置完成
安装java环境
每个节点都要安装，步骤相同
为了方便操作每个节点，默认在/usr/local/下新建一个名为hadoop的文件夹，存放所有的大数据相关的软件。
$ sudo mkdir /usr/local/hadoop
$ sudo chown -R hadoop:hadoop /usr/local/hadoop/
解压
$ sudo mkdir /usr/local/hadoop/java
$ sudo unzip jdk1.8.0_251.zip -C /usr/local/hadoop/java/
添加环境变量
在~/.bashrc文件中添加如下内容，并执行$ source ~/.bashrc命令使其生效
#java
export JAVA_HOME=/usr/local/hadoop/java/ jdk1.8.0_251
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
解压hadoop
$ sudo tar -zxvf hadoop-2.10.0.tar.gz -C /usr/local/hadoop
修改hadoop配置文件
需要修改6个文件，文件位于/usr/local/hadoop/hadoop-2.10.0/etc/hadoop/下
slave 文件
将文件中原来的 localhost 删除，添加内容：
Slave01
Slave02
core-site.xml 文件
内容修改为：
hdfs-site.xml文件
Hadoop的分布式文件系统HDFS一般采用冗余存储，一份文件通常保存3份副本，所以dfs.replication的值还是设置为3。
具体内容如下：
mapred-site.xml 文件
修改内容如下：
6.5 yarn-site.xml文件
内容如下：
hadoop-env.sh 文件
修改如下内容：
exportJAVA_HOME=/usr/local/hadoop/java/ jdk1.8.0_251
# 可以不用
exportHADOOP_HOME=/usr/local/hadoop-2.10.0
设置hadoop环境变量
每个节点都要设置
在~/.bashrc文件中添加如下内容，并$ source ~/.bashrc使其生效
export PATH=$PATH:/usr/local/hadoop/hadoop-2.10.0
slave节点配置
slave节点只需将master节点上/usr/local/下的hadoop文件夹和~/.bashrc文件，放到slave节点即可
注意切换到对应机器执行$ source ~/.bashrc使环境变量生效。
后续的软件均可使用此方式配置。
在master节点：
$ sudorm-r /usr/local/hadoop/hadoop-2.10.0/tmp# 删除 Hadoop 临时文件，如果之前有启动过
$ sudorm-r /usr/local/hadoop/hadoop-2.10.0/logs/* # 删除日志文件，如果之前有启动过
$ tar-zcvf ~/hadoop.tar.gz /usr/local/hadoop/# 先压缩再复制
$ scp~/hadoop.tar.gz Slave01:/home/hadoop
$ scp~/hadoop.tar.gz Slave02:/home/hadoop
$ scp~/bashrc Slave01:/home/hadoop
$ scp~/bashrc Slave02:/home/hadoop
在各个slave节点上
$ sudo mkdir/usr/local/hadoop
$ sudo chown-R hadoop：hadoop /usr/local/hadoop
$ tar-zxvf ~/hadoop.tar.gz -C /usr/local/hadoop
$ sudo source ~/.bashrc
启动Hadoop集群
在Master上执行
首次运行需要，执行
$ hdfs namenode -format
格式化名称节点，然后就可以启动hadoop了。
启动hadoop：
$ start-dfs.sh
$ start-yarn.sh
$ mr -job history-daemon.sh start historyserver
使用jps查看启动的各个节点，缺少任何进程，都表示出错。
$ jps
3585 JobHistoryServer
2938 NameNode
3148 SecondaryNameNode
3308 ResourceManager
3629 Jps
浏览器查看：http://192.168.233.200:50070/
查看相关信息：$ hdfs dfsadmin -report
关闭hadoop：
$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver
如果有问题，重复如下命令：
$ stop-dfs.sh # 关闭
$ rm-r /usr/local/bigdata/hadoop-2.10.1/tmp# 删除 tmp 文件，注意这会删除 HDFS中原有的所有数据
$ hdfs namenode -format# 重新格式化名称节点
$ start-dfs.sh # 重启