hadoop分布式集群配置（linux）
linux配置hadoop分布式集群
-
- 一、前期准备
- 二、Jdk的安装
- 三、配置hadoop集群
安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接
一、前期准备
1.安装hadoop分布式之前先准备好3台虚拟机
2.分别在每一台虚拟机下创建hadoop用户，并为其设置密码
3.将第一台主机名设置为HadoopMaster；第二台设置为HadoopSlave01;第三台设置为HadoopSlave02
4.配置免密登录，使在HadoopMaster用户上能分别免密登录到主机HadoopSlave01和HadoopSlave02上。
如果免密没有准备好的可以参考这篇文章免密登录教程
二、Jdk的安装
- 在三台主机上都创建software文件夹
mkdir software //创建software文件夹
-
将hadoop压缩包上传到主机HadoopMaster的hadoop用户下的software目录下；
3.将jdk的缩包上传三台主机的hadoop用户下的software目录下； -
上传好之后ll即可看到上传好的压缩包
-
查看两个包是否上传完整，可能会出现丢包的情况，步骤如下图，两个包都查看一下，大小都相同之后，接着执行下一步
-
解压jdk 输入 tar -zxvf jdk-8u171-linux-x64.tar.gz
-
vi ~/.bash_profile 配置jdk环境变量(三台虚拟机都有配置jdk），配置好之后保存退出
-
输入 source ~/.bash_profile 更新文件
-
输入 java -version 即可查看jdk版本信息，出现如下提示，便表示jdk环境变量已经配置好。另外两台同上
三、配置hadoop集群
- 配置之前先在/home/hadoop/software目录下创建文件夹hadooptmp
mkdir hadooptmp 创建名为hadooptmp的文件夹
-
tar -zxvf
2.cd /home/hadoop/software/hadoop-3.3.0/etc/hadoop进入该目录下执行下边操作
3.vi hadoop-env.sh编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出
-
vi yarn-env.sh编辑文件，下文件里添加如下代码（这里的路径是自己jdk存放的位置）编辑好之后保存退出
5.vi core-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码
<property>
<name>fs.defaultFS</name>
<value>hdfs://HadoopMaster:9000
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/software/hadooptmp</value>
</property>
6.vi hdfs-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
7.vi yarn-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>HadoopMaster:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>HadoopMaster:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>HadoopMaster:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>HadoopMaster:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>HadoopMaster:8088</value>
</property>
8.vi mapred-site.xml 编辑文件
进入文件之后找到 在文件里添加如下代码
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
9.vi /workers 配置worker文件
将里边的的内容替换为 HadoopSlave01 HadoopSlave02
10.返回software目录下
11.使用下面的命令将已经配置完成的 Hadoop目录复制到从节点 Slave 上：
scp -r hadoop-3.3.0 hadoop@HadoopSlave01:~/software/
scp -r hadoop-3.3.0 hadoop@HadoopSlave02:~/software/
12.vi ~/.bash_profile 配置hadoop启动时的环境变量
13.在里边添加hadoop 的环境变量（三台用户都要分别配置hadoop的 环境变量）
export HADOOP_HOME=/home/hadoop/software/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
14.配置好文件之后输入 source ~/.bash_profile 更新文件
15.hdfs namenode -format格式化 （在主节点执行）
16.start-all.sh 启动hadoop分布式集群 （在主节点执行）
17.Jps 查看，有如下内容，就说明hadoop分布式集群安装好了
18.在hadoopslave01和hadoopslave02两个节点上直接输入jps查看，有如下内容，就说明hadoop分布式集群安装好了
19.在浏览器上访问 192.168.195.184:9870
20.在浏览器上访问 192.168.195.184.8088 端口如下
本篇文章就到这里了，这些都是自己平时遇到的问题或者自己用到的东西，然后就整理了一下，能帮助到你，若有不对或这描述不清楚的地方请指正。✌✌