hadoop分布式集群配置（linux）

安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接

一、前期准备

1.安装hadoop分布式之前先准备好3台虚拟机
2.分别在每一台虚拟机下创建hadoop用户，并为其设置密码
3.将第一台主机名设置为HadoopMaster；第二台设置为HadoopSlave01;第三台设置为HadoopSlave02
4.配置免密登录，使在HadoopMaster用户上能分别免密登录到主机HadoopSlave01和HadoopSlave02上。
如果免密没有准备好的可以参考这篇文章免密登录教程

二、Jdk的安装

1. 在三台主机上都创建software文件夹

mkdir software  //创建software文件夹

3. 将hadoop压缩包上传到主机HadoopMaster的hadoop用户下的software目录下；
   3.将jdk的缩包上传三台主机的hadoop用户下的software目录下；

4. 上传好之后ll即可看到上传好的压缩包
   

5. 查看两个包是否上传完整，可能会出现丢包的情况，步骤如下图，两个包都查看一下，大小都相同之后，接着执行下一步
   
   

6. 解压jdk 输入 tar -zxvf jdk-8u171-linux-x64.tar.gz

7. vi ~/.bash_profile 配置jdk环境变量(三台虚拟机都有配置jdk），配置好之后保存退出
   

8. 输入 source ~/.bash_profile 更新文件

9. 输入 java -version 即可查看jdk版本信息，出现如下提示，便表示jdk环境变量已经配置好。另外两台同上
   

三、配置hadoop集群

1. 配置之前先在/home/hadoop/software目录下创建文件夹hadooptmp

mkdir hadooptmp    创建名为hadooptmp的文件夹

2. tar -zxvf
   2.cd /home/hadoop/software/hadoop-3.3.0/etc/hadoop 进入该目录下执行下边操作
   3.vi hadoop-env.sh 编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出
   

3. vi yarn-env.sh 编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出

5.vi core-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://HadoopMaster:9000 
</property> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hadoop/software/hadooptmp</value> 
</property> 

6.vi hdfs-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码

<property> 
<name>dfs.replication</name> 
<value>2</value> 
</property> 

7.vi yarn-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码

<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 
<property> 
<name>yarn.resourcemanager.address</name> 
<value>HadoopMaster:18040</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>HadoopMaster:18030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>HadoopMaster:18025</value> 
</property> 
<property> 
<name>yarn.resourcemanager.admin.address</name> 
<value>HadoopMaster:18141</value> 
</property> 
<property> 
<name>yarn.resourcemanager.webapp.address</name> 
<value>HadoopMaster:8088</value> 
</property>

8.vi mapred-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码

<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 

9.vi /workers 配置worker文件
将里边的的内容替换为 HadoopSlave01 HadoopSlave02

10.返回software目录下
11.使用下面的命令将已经配置完成的 Hadoop目录复制到从节点 Slave 上：

scp -r hadoop-3.3.0 hadoop@HadoopSlave01:~/software/ 
scp -r hadoop-3.3.0 hadoop@HadoopSlave02:~/software/

12.vi ~/.bash_profile 配置hadoop启动时的环境变量
13.在里边添加hadoop 的环境变量（三台用户都要分别配置hadoop的 环境变量）

export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0 
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 

14.配置好文件之后输入 source ~/.bash_profile 更新文件
15.hdfs namenode -format格式化 （在主节点执行）

16.start-all.sh 启动hadoop分布式集群 （在主节点执行）
17.Jps 查看，有如下内容，就说明hadoop分布式集群安装好了

18.在hadoopslave01和hadoopslave02两个节点上直接输入jps查看，有如下内容，就说明hadoop分布式集群安装好了

19.在浏览器上访问 192.168.195.184:9870

20.在浏览器上访问 192.168.195.184.8088 端口如下


本篇文章就到这里了，这些都是自己平时遇到的问题或者自己用到的东西，然后就整理了一下，能帮助到你，若有不对或这描述不清楚的地方请指正。✌✌