Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例-1

大家好，今天总结一套搭建Hadoop的搭建流程

目标：Linux（Ubuntu）上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例

准备：

1. Unbuntu18.04.1-desktop-amd64.iso、
2. JDK环境变量配置、
3. hadoop-2.6.4.tar.gz、
4. hadoop-eclipse-plugin-2.6.0.jar、

下载地址：

1. https://www.ubuntu.com/download/desktop/thank-you?version=18.04.2&architecture=amd64
2. http://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow nloads-2133151.html
3. http://hadoop.apache.org/releases.html
4. https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar

上面第四项：因为不同的hadoop版本对应不同的eclipse插件，因此需要自行编译hadoop的eclipse插件。编译eclipse插件必须要有源码。

步骤1

使用VMware虚拟机，加载下载好的Unbuntu.iso镜像，安装Ubuntu系统，启动。

步骤2

创建Hadoop组，使用命令：

创建Hadoop用户，并加入刚才的用户组

修改权限

sudo的配置文件是sudoers文件，它允许系统管理员集中的管理用户的使用权限和使用的主机。

然后退出当前用户，使用hadoop用户登录系统，做如下操作。

步骤3

安装SSH

1. 安装SSH软件组件
2. 启动SSH服务
3. 查看服务的状态

SSH保存密钥免验证连接

• 免验证连接
  • 创建密钥文件
  • 保存密钥信息

此时会在／home/hadoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。将公钥追加到authorized_keys中，保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

步骤4

使用WinSCP，使用hadoop用户，密码***连接到服务器

步骤5

可以在Java的官方网站上找到Linux可用的JDK

下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow nloads-2133151.html

或者，自己在windows下载好后，使用SSH的WinSCP传送给服务器

解压后安装

再次建议大家现在登录名称应该是：hadoop

安装JDK，配置成功后可以利用Java提供的工具命令测试环境是否成功。

步骤6

安装Hadoop

下载Hadoop（http://hadoop.apache.org/releases.html）并解压 配置必要环境变量

使用SSH上传下载好的hadoop.tar.gz

修改环境变量的配置文件

修改Hadoop-env.sh中的JAVA_HOME路径

步骤7

测试安装结果。

1. 执行完上述步骤后Hadoop的单机模式即可使用，可以利用Hadoop提供的示例测试环境安装配置是否成功。
2. MapReduce领域的Hello World：单词计数

创建一个文件夹input，并将一个README.txt文件复制进入input文件夹中

执行hadoop的示例jar，执行java代码WordCount 给定输入，输出文件夹

显示出结果

使用命令查看输出后的结果，测试内容完毕。

待续……

 

精彩内容继续，您的点赞(๑•̀ㅂ•́)و✧是我的动力，感谢你的支持，谢谢