Mac os Eclipse中连接docker搭建的hadoop集群

现有环境

docker中安装了4个container
一个namenode(hadoop0)
三个datanode(hadoop1,hadoop2,hadoop3)
运行进程
Mac os Eclipse中连接docker搭建的hadoop集群_第1张图片
Mac os Eclipse中连接docker搭建的hadoop集群_第2张图片
Mac os Eclipse中连接docker搭建的hadoop集群_第3张图片
hadoop3

eclipse中连接

安装eclipse插件

https://github.com/winghc/hadoop2x-eclipse-plugin

  1. 下载对应插件,解压之后将release下的所有jar包放入eclipse安装下的plugins目录,有的版本需要找到dropins中
  2. 重启eclipse
  3. 打开Preferences搜索Hadoop Map/Reduce 指定map reduce的安装目录。(本地)
  4. windows->show view->Others->MapReduce Tools->Map/Reduce Locations
  5. New Hadoop Location配置相关属性。

配置参数

eclipse中连接需要两个参数:
dfs的端口(定义在core-site.xml中的defaultFs属性中)
Mac os Eclipse中连接docker搭建的hadoop集群_第4张图片
Map/Reduce的端口(定义在mapped-site.xml)
Mac os Eclipse中连接docker搭建的hadoop集群_第5张图片
这两个端口必须在docker容器中映射出来否则会连不上
也就是创建hadoop0的时候指定:
docker run -it --name hadoop0 -h hadoop0 -p 50070:50070 -p 9000:9000 -p 9001:9001 registry.cn-hangzhou.aliyuncs.com/kaibb/hadoop /bin/bash
-p(小写)意味着将远程端口映射到本地指定端口将9001以及9000两个端口映射出来,如何自己配置的端口不是9000的话按照自己的进行修改

配置结果

如果是在远程服务器上将localhost改为对应的ip
Mac os Eclipse中连接docker搭建的hadoop集群_第6张图片

Mac os Eclipse中连接docker搭建的hadoop集群_第7张图片

你可能感兴趣的:(大数据)