IntelliJ IDEA连接Hadoop集群

求个良心管我
留些余地处人

相关连接

HDFS相关知识

• Hadoop分布式文件系统（HDFS）快速入门
• Hadoop分布式文件系统（HDFS）知识梳理（超详细）

Hadoop集群连接

Eclipse连接Hadoop集群

HDFS Java API

Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版

IntelliJ IDEA连接Hadoop集群

注意事项

• 该Hadoop集群为远程Hadoop集群
• Hadoop集群已配置完毕，若未配置完毕，请转至多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
• IntelliJ IDEA所在的操作系统为Windows
• IntelliJ IDEA所在操作系统已安装JDK

准备文件

• hadoop-2.6.0.rar 提取码xix0
• winutils下载
• pom.xml 提取码whau
• settings.xml 提取码tszl
• log4j.properties 提取码9rwa

具体步骤

1. 将hadoop-2.6.0.rar压缩包解压
2. 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录
   
3. 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
4. 解压下载的winutils，找到对应或邻近版本的Hadoop，进入其bin目录，将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录
5. 依次点击“File”→“Settings”，在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”，勾选User Settings File和Local repository的Override选项
   
6. 将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2（每个人根据上图方框内的路径查找是否有该文件，若有，则覆盖原文件，若无，则直接拷贝到该目录）目录，可将IDEA中maven修改为阿里镜像
7. 打开IDEA，依次点击“File”→“New”→“Project”，点击左侧Maven，勾选上方“Create from archetype”，在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart，点击“Next”
   
8. GroupId和ArtifactId自行填写，填写完毕后点击“Next”
   
9. 勾选User Settings File和Local repository的Override选项，更改Local repository为其他路径，建议该路径有较大容量，点击“Next”
   
10. 填写项目名，选择项目存储路径，点击“Finish”
    
11. 此时，一些Maven工程会被加载到项目中，若左侧Project框内无src文件夹，等待Maven工程下载完毕
    下载中
    
    下载完毕
    
12. 在Project框中src/main目录中新建目录resources
13. 将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制，并移动到上述src/main/resources目录中（拖拽即可），然后将下载的log4j.properties文件移动到src/main/resources目录中（防止不输出日志文件）
    
14. 使用下载的pom.xml文件覆盖项目本身的pom.xml文件（直接拖拽即可），该文件中的一些版本号（比如JDK、Hadoop等）修改为自己电脑中对应的版本（不修改似乎也可正常运行）
15. IDEA右下角会弹出更新确认框，点击Import Changes
    
16. 等待更新完成即可，更新时，IDEA底部会出现“n processes running”，点击即可弹出更新进度
    
17. 可运行以下WordCount程序以查看是否连接成功

WordCount程序示例

使用Java API编写WordCount程序