2 Spark独立应用程序编程

接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。

（一）编写Scala独立应用程序

安装sbt

sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内容。
Spark 中没有自带 sbt，这里直接给出sbt-launch.jar的下载地址，直接点击下载即可。
我们选择安装在 /usr/local/sbt 中：

second try

重新一模一样的安装一遍hadoop和spark，这次是成功的。

Paste_Image.png

其他参考资料

http://lib.csdn.net/article/scala/27169 给出了官网信息
http://blog.csdn.net/sadfasdgaaaasdfa/article/details/50821459 给出了一个实例

配置信息

配置信息

最终成功了，但是等了43min，太长了。

Paste_Image.png

得到了正确结果

java

第一次尝试47min，失败

同样的命令，也失败了，但这次很快

2 加载hdfs上的文件

2.1

上传有错误，但是已经上传上去了，可能是一个节点的问题

java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.100.125:50010