livy0.5.0安装

安装步骤

livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy的安装起因是因为griffin质量分析组件的依赖，故有此文。
下载链接：http://livy.apache.org/download/

解压livy压缩包

[hadoop@master ~]$ unzip livy-0.5.0-incubating-bin.zip

更改压缩包名称（个人习惯）

[hadoop@master ~]$ mv livy-0.5.0-incubating-bin/ livy-0.5.0/

复制所有模板

[hadoop@master ~]$ cd livy-0.5.0/conf/
[hadoop@master conf]$ cp livy-client.conf.template livy-client.conf
[hadoop@master conf]$ cp livy-env.sh.template livy-env.sh
[hadoop@master conf]$ cp spark-blacklist.conf.template spark-blacklist.conf
[hadoop@master conf]$ cp livy.conf.template livy.conf
[hadoop@master conf]$ cp log4j.properties.template log4j.properties

配置文件详情：
livy-client.conf：配置了一些client的信息
livy.conf：配置了一些server的信息
livy-env.sh：配置了一些server启动时的相关信息
log4j.properties：日志信息
spark-blacklist.conf：会列出来一些spark配置中的一些东西，这些东西用户是不允许被修改掉的，比如：内存大小的设置、executor的设置
这些给用户改，是不放心的；因此有些东西必然是不能够暴露的

配置livy-env.sh

[hadoop@master conf]$ vi livy-env.sh
末尾追加
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export SPARK_HOME=/home/hadoop/spark-2.4.0
export SPARK_CONF_DIR=$SPARK_HOME/conf
export HADOOP_HOME=/home/hadoop/hadoop-3.2.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

配置livy.conf

[hadoop@master conf]$ vi livy.conf
livy.server.host = 169.254.1.100
livy.server.port = 8998
livy.spark.master = yarn
livy.spark.deploy-mode = client

手动创建logs目录

[hadoop@master ~]$ mkdir livy-0.5.0/logs

配置环境变量

[hadoop@master ~]$ vi .bash_profile
PATH=$PATH:$HOME/bin
export HADOOP_HOME=/home/hadoop/hadoop-3.2.0
export HIVE_HOME=/home/hadoop/hive-3.1.1
export SPARK_HOME=/home/hadoop/spark-2.4.0
export SCALA_HOME=/home/hadoop/scala-2.10.6
export LIVY_HOME=/home/hadoop/livy-0.5.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SPARK_HOME/bin:$SCALA_ HOME/bin:$LIVY_HOME/bin

使环境变量生效

[hadoop@master ~]$ source .bash_profile

启动livy

[hadoop@master ~]$ livy-server

判定是否安装成功

访问169.254.1.100:8998web界面，有结果显示：