eclipse或idea中开发spark程序本地运行以及提交集群运行

Windows开发hadoop/spark配置

1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOMEhadoop目录。把%HADOOP_HOME%\bin加入path

2Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行,将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下,可能需要重启机器。

下载地址:http://download.csdn.net/download/yixiao1874/10240139

经过这些步骤就可以运行hadoop/spark程序(本地模式)

 

开发Spark应用并提交集群运行

1、idea中如果是本地模式只需修改-Dspark.master=local

eclipse或idea中开发spark程序本地运行以及提交集群运行_第1张图片

eclipse或idea中开发spark程序本地运行以及提交集群运行_第2张图片

eclipse或idea中开发spark程序本地运行以及提交集群运行_第3张图片

2eclipse

eclipse或idea中开发spark程序本地运行以及提交集群运行_第4张图片



你可能感兴趣的:(spark,spark,idea开发,eclipse开发,远程调用集群运行,本地模式)