spark on yarn的理解

最近在安装调测CDH5.5,发现官方文档明确不支持spark-sql（需要自己去编译）和sparkR。到/opt/cloudera/parcels/CDH/lib/spark/目录看里面，没有R文件夹，bin里面也没有spark-ql和sparkR。比较失望。

http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_rn_spark_ki.html

不能因为CDH5.5不支持spark-sql和sparkR就放弃CDH了吧，毕竟图形化管理，Hue，hdfs和impala很好用。然后就搜能否替换spark。

看到网上有其他人用社区版的spark1.5.2独立安装，启动。于是也打算试试。

在搜资料的过程中，发现spark on yarn，standalone方式。集群已经启动yarn，就没有必要在独立起standalone了。

于是搜spark on yarn结果，实在令人失望，很多spark on yarn的部署，看到后面都是全部节点部署，有些帖子并且还启动了master 7077端口之类的，我就知道，这不是standalone么？

Anyway，我尝试只在一个节点上部署spark，scala并设置好环境变量。直接spark-sql和sparkR，然后看主机多了4040监控端口，连接上去，自动跳转到yarn的RM界面上了。

看到Executors上列着3（1个Driver，2个Executor）。执行SQL或者R语句，可以返回结果。

这说明了，确实只要在一个节点上部署即可。至于如何实现的，还需要慢慢理解。

这种方式最大的好处，只要在原有hadoop集群上部署一个节点，也能跑spark任务了。

另外：发现sparkR --master 3中方式（master URL，yarn，local），local方式，提交后，yarn日志没有任务，连接4040端口，也没有跳转到yarn的Application。然后Executors下，只看到Driver。R语句也是正常执行的。