【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)

第三步:测试Spark集群

把Spark安装包下的README.txt上传到

通过hdfs的web控制台可以发现成功上传了文件:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第1张图片

使用“MASTER:spark://SparkMaster:7077 ./spark-shell”命令启动Spark shell:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第2张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第3张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第4张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第5张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第6张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第7张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第8张图片

接下来通过以下命令读取刚刚上传到HDFS上的“README.md”文件 :

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第9张图片

对读取的文件进行以下操作:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第10张图片

接下来使用collect命令提交并执行Job:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第11张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第12张图片

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12)_第13张图片

 

你可能感兴趣的:(【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(12))