【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

执行文件拷贝操作

拷贝后的“input”文件夹的内容如下所示:

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

和我们的hadoop安装目录下的“conf”文件的内容是一样的。

现在,在我们刚刚构建的伪分布式模式下运行wordcount程序:

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

运行完成后我们查看一下输出的结果:

部分统计结果如下:

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

此时我们到达Hadoop的web控制台会发现我们提交并成功的运行了任务:

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

最后在Hadoop执行完任务后,可以关闭Hadoop后台服务:

【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

至此,Hadoop伪分布式环境的搭建和测试你完全成功!

至此,我们彻底完成了实验。

你可能感兴趣的:(spark教程,spark热点,spark书籍,spark技术)