大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台

1.目标

1.1 在图形窗口运行
1.2 完成Eclipse及插件安装
1.3 JDK安装

2.前期准备

2.1 装系统

详细请点击这里

2.2 节点创建用户

2.2.1 创建组

(可以在bass普通用户下操作,可以在root用户下操作。若在bass需要提高权限sudo,root用户则不用。)
$ sudo useradd -u 285 -g 285 -m -s /bin/bash angel
在这里插入图片描述

用户号为285,用户组号为285,用户名为angel。

2.2.2 设置angel用户组及其密码

sudo gpasswd -a angel sudo
将angel用户添加到sudo组。
在这里插入图片描述
sudo passwd angel
密码为123
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第1张图片

2.2.3 切换angel用户

su - angel
密码:123
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第2张图片
到此,angel用户创建成功。

2.3.Java安装

2.3.1 节点建立app目录并修改/app文件属性

3.1.1 建立app目录
在angel用户下建立
sudo mkdir /app
在这里插入图片描述
3.1.2 修改/app文件属性
sudo chown -R angel:angel /app

2.3.2 所有节点编辑jdk环境变量

vi /home/angel/.profile
在最后添加2行
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第3张图片

2.3.3 所有节点jdk环境变量生效

source /home/angel/.profile

2.3.4 上传jdk并将jdk压缩到angel用户下

用winscp工具,用root用户登录
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第4张图片

2.3.5 将jdk压缩包解压放在/app目录下

cd /app
tar xzvf /home/angel/jdk-8u261-linux-x64.tar.gz -C /app

大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第5张图片
在这里插入图片描述

2.3.6 测试

java -version
javac -version
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第6张图片
到此,Java安装成功。

3 启动Hadoop集群

3.1 启动 dfs

start-dfs.sh
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第7张图片

3.2 启动yarn

start-yarn.sh
在这里插入图片描述

3.3 启动JobHistoryServer

mr-jobhistory-daemon.sh start historyserver
在这里插入图片描述

3.4 查看进程

3.4.1 master节点

jps
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第8张图片

3.4.2 slave1,slave2节点

jps
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第9张图片
在这里插入图片描述
到此,Hadoop集群开启成功!

4 上传Eclipse

4.1 利用Winscp上传eclipse到/root目录下

eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第10张图片
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第11张图片

4.2 将eclipse解压到/app目录下

cd /app
tar xvzf /root/eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第12张图片

5 上传hadoop-eclipse-plugin

5.1 利用Winscp将hadoop-eclipse-plugin-2.6.0.jar放到/app/eclipse/plugins/目录下

大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第13张图片

5.2 检查是否上传成功

cd /app/eclipse/plugins/
ll hadoop*在这里插入图片描述
到此hadoop上传成功!

6 下载hadoop-2.8.5

从master节点下载hadoop-2.8.5到desktop节点上的/app目录下
scp -r angel@master:/app/hadoop-2.8.5 /app
因为master与desktop没有ssh协议,所以需要输入密码
在这里插入图片描述
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第14张图片
在终端,检查有没有下载成功。
在这里插入图片描述
到此,hadoop-2.8.5 下载成功。

7 修改文件属性

chown -R eclipse/ hadoop-2.8.5/ jdk1.8.0_261/
检查是否修改成功
cd /home/angel/app
ll
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第15张图片
到此文件属性修改成功!

8 启动eclipse

条件:必须在桌面端启动;必须用angel用户进入;必须重启;必须启动hadoop集群。
若无法用angel用户进入,点击下方链接,解决此问题。
解决方法
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第16张图片
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第17张图片
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第18张图片
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第19张图片
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第20张图片
点击Launch。
在eclipse窗口中打开Windows-Preferences,窗口左侧有“Hadoop Map/Reduce”选项,表示安装成功!

大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第21张图片
在eclipse窗口界面打开“File”-“New”-“Project”,有“Map/Reduce Project”选项,表示安装成功,到此,MapReduce平台搭建成功!
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台_第22张图片

你可能感兴趣的:(Linux,linux,大数据,hadoop,mapreduce,eclipse)