大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台

1.目标

1.1 在图形窗口运行
1.2 完成Eclipse及插件安装
1.3 JDK安装

2.前期准备

2.1 装系统

详细请点击这里

2.2 节点创建用户

2.2.1 创建组

（可以在bass普通用户下操作，可以在root用户下操作。若在bass需要提高权限sudo，root用户则不用。）
$ sudo useradd -u 285 -g 285 -m -s /bin/bash angel

用户号为285，用户组号为285，用户名为angel。

2.2.2 设置angel用户组及其密码

sudo gpasswd -a angel sudo
将angel用户添加到sudo组。

sudo passwd angel
密码为123

2.2.3 切换angel用户

su - angel
密码：123

到此，angel用户创建成功。

2.3.Java安装

2.3.1 节点建立app目录并修改/app文件属性

3.1.1 建立app目录
在angel用户下建立
sudo mkdir /app

3.1.2 修改/app文件属性
sudo chown -R angel:angel /app

2.3.2 所有节点编辑jdk环境变量

vi /home/angel/.profile
在最后添加2行

2.3.3 所有节点jdk环境变量生效

source /home/angel/.profile

2.3.4 上传jdk并将jdk压缩到angel用户下

用winscp工具，用root用户登录

2.3.5 将jdk压缩包解压放在/app目录下

cd /app
tar xzvf /home/angel/jdk-8u261-linux-x64.tar.gz -C /app

2.3.6 测试

java -version
javac -version

到此，Java安装成功。

3 启动Hadoop集群

3.1 启动 dfs

start-dfs.sh

3.2 启动yarn

start-yarn.sh

3.3 启动JobHistoryServer

mr-jobhistory-daemon.sh start historyserver

3.4 查看进程

3.4.1 master节点

jps

3.4.2 slave1，slave2节点

jps


到此，Hadoop集群开启成功！

4 上传Eclipse

4.1 利用Winscp上传eclipse到/root目录下

eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz

4.2 将eclipse解压到/app目录下

cd /app
tar xvzf /root/eclipse-java-oxygen-3-linux-gtk-x86_64.tar.gz

5 上传hadoop-eclipse-plugin

5.1 利用Winscp将hadoop-eclipse-plugin-2.6.0.jar放到/app/eclipse/plugins/目录下

5.2 检查是否上传成功

cd /app/eclipse/plugins/
ll hadoop*
到此hadoop上传成功！

6 下载hadoop-2.8.5

从master节点下载hadoop-2.8.5到desktop节点上的/app目录下
scp -r angel@master:/app/hadoop-2.8.5 /app
因为master与desktop没有ssh协议，所以需要输入密码


在终端，检查有没有下载成功。

到此，hadoop-2.8.5 下载成功。

7 修改文件属性

chown -R eclipse/ hadoop-2.8.5/ jdk1.8.0_261/
检查是否修改成功
cd /home/angel/app
ll

到此文件属性修改成功！

8 启动eclipse

条件：必须在桌面端启动；必须用angel用户进入；必须重启；必须启动hadoop集群。
若无法用angel用户进入，点击下方链接，解决此问题。
解决方法





点击Launch。
在eclipse窗口中打开Windows-Preferences，窗口左侧有“Hadoop Map/Reduce”选项，表示安装成功！

在eclipse窗口界面打开“File”-“New”-“Project”，有“Map/Reduce Project”选项，表示安装成功，到此，MapReduce平台搭建成功！