(1)史上最简单的spark系列教程 | 完结

学习路径:史上最简单的spark系列教程 | 完结

 


学习过程遇到的问题

1、注意pom.xml

版本冲突以及scope设置:

(1)史上最简单的spark系列教程 | 完结_第1张图片

2、java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

Hadoop都是运行在Linux系统下的,在windows下eclipse中运行mapreduce程序,要首先安装Windows下运行的支持插件(案例是hadoop2.6.5) 

设置环境变量(第一个在环境变量下创建HADDOOP_HOME:

(1)史上最简单的spark系列教程 | 完结_第2张图片

 

(1)史上最简单的spark系列教程 | 完结_第3张图片

(1)史上最简单的spark系列教程 | 完结_第4张图片

然后重启PC。 

或者直接写入代码

System.setProperty("hadoop.home.dir", "D:\\dev-tools\\hadoop2.6.5");

 

你可能感兴趣的:(#,Spark)