一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能：
- 提交Scala、Python或是R代码片段到远端的Spark集群上执行；
- 提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行；
- 提交批处理应用在集群中运行。
从Livy所提供的基本功能可以看到Livy涵盖了原生Spark所提供的两种处理交互方式。与原生Spark不同的是，所有操作都是通过REST的方式提交到Livy服务端上，再由Livy服务端发送到不同的Spark集群上去执行。
安装启动
- 安装maven
- 下载livy
$ git clone [email protected]:cloudera/livy.git
$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=512M"
$ mvn -Dmaven.test.skip clean package
- 修改配置文件
注释spark.master
vim conf/spark-blacklist.conf
# spark.master
- 启动
./bin/livy-server
pyspark测试
查看当前存在的会话
$ curl localhost:8998/sessions
> {"from":0,"total":0,"sessions":[]}
创建pyspark会话
$ curl -X POST --data '{"kind": "pyspark"}' -H "Content-Type:application/json" localhost:8998/sessions
> {"id":0,"owner":null,"proxyUser":null,"state":"starting","kind":"pyspark","log":[]}
$ curl localhost:8998/sessions
> {"from":0,"total":1,"sessions":[{"id":0,"owner":null,"proxyUser":null,"state":"idle","kind":"pyspark","log":[]}]}
查看当前会话状态
$ curl localhost:8998/sessions/0 | python -m json.tool
> {
"id": 0,
"kind": "pyspark",
"log": [],
"owner": null,
"proxyUser": null,
"state": "idle"
}
state为idle表示该会话存活，已经准备就绪，可以向该会话提交任务了。
| python -m json.tool 这是管道命令，把返回的结果格式化显示
提交任务
$ curl localhost:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'
> {"id":0,"state":"running","output":null}
查看任务结果
$ curl localhost:8998/sessions/0/statements/0
> {"id":0,"state":"available","output":{"status":"ok","execution_count":0,"data":{"text/plain":"2"}}}
如果返回异常，可能是json4s版本兼容问题导致的
修改：$SPARK_HOME目录下的pom.xml文件
org.json4s
json4s-jackson_${scala.binary.version}
3.2.10
将该jar包的版本更改为3.2.10
查看任务结果
$ curl localhost:8998/sessions/0/statements/{id}
$ curl localhost:8998/sessions/0/statements
删除会话
$ curl localhost:8998/sessions/0 -X DELETE
> {"msg":"deleted"}