windows下使用idea远程链接Hadoop(Linux)

windows下使用idea远程链接Hadoop
一.配置环境
二.Idea中创建Maven项目,导入依赖
三.启动
四.FAQ
一.配置环境
1.将在Linux系统中解压的hadoop版本(.gz后缀),解压到指定目录
2.配置HADOOP_HOME环境变量
(1)新建环境变量(我解压在F:/)

(2)Path变量

(3)检验:在dos窗口中输入hadoop

3.下载windows下连接hadoop需要的文件
文件链接:https://pan.baidu.com/s/15Ti2XAIJhXYtRyKUf1lYDA
提取码:zie1
(1)将hadoop.dll复制到C:\Windows\System32目录下

(2)将hadoop.dll和winutils.exe复制到F:\hadoop-2.6.0-cdh5.7.0\bin目录下

二.Idea中创建Maven项目,导入依赖
org.apache.hadoop hadoop-client ${hadoop.version}

org.apache.hadoop
hadoop-common
${hadoop.version}

org.apache.hadoop
hadoop-hdfs
${hadoop.version}


org.apache.hadoop
hadoop-mapreduce-client-core
${hadoop.version}

org.apache.hadoop
hadoop-mapreduce-client-jobclient
${hadoop.version}

org.apache.hadoop
hadoop-mapreduce-client-common
${hadoop.version}

junit
junit
4.11
test


三.启动

启动

在文件系统中可以看到目录已创建

四.FAQ
报错:UnknownHostException在C:\Windows\System32\drivers\etc:下的hosts中加上Linux系统的ip地址 主机名

2.报错ConnectException:Connection Refused: no further informtion

核对hosts文件的ip地址和window系统hosts文件上的ip是否为Linux系统上的ip地址,如果一致还报错,重启虚拟机.
3.报错权限不足
在FileSystem.get()方法中添加Linux系统的用户