Zeppelin安装文档

Zeppelin是一个Web笔记形式的基于Spark的大数据交互式数据查询分析工具(类似python notebook),可以在线写Scala和SQL代码对数据进行查询分析并生成报表,开发者也可以通过实现更多的解释器来为Zeppelin添加数据引擎。


0、 下载zeppelin

下载地址:https://zeppelin.incubator.apache.org/download.html

选择已编译版本:

Zeppelin安装文档_第1张图片

解压目录结构:

Zeppelin安装文档_第2张图片


1、  修改conf/zeppelin-env.sh,设置SPARK_HOME、HADOOP_HOME(copy模板)
export SPARK_HOME=$SPARK_HOME

exportHADOOP_HOME=$HADOOP_CONF_DIR

(设置为堡垒机.bashrc中参数)

 

2、 修改conf/zeppelin-site.sh,设置运行端口(copy模板)

 zeppelin.server.port

 8097

 Server port.

 

3、 修改conf/interpreter.json,定位spark配置项,修改spark配置参数

Zeppelin安装文档_第3张图片


4、 修改bin/interpreter.sh


去除参数:--driver-class-path"${ZEPPELIN_CLASSPATH_OVERRIDES}:${CLASSPATH}"

--driver-class-path必需去除参数,不然会报错

ErrorFound both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.

并增加运行队列参数:--queue [队列名]


5、 启动/停止zeppelin

启动命令:bin/zeppelin-daemon.sh start

停止命令:bin/zeppelin-daemon.sh start

重启命令:bin/zeppelin-daemon.sh restart

 

6、 访问页面(ip:port),运行示例程序

Eg. http://172.22.170.128:8097

 Zeppelin安装文档_第4张图片

Zeppelin安装文档_第5张图片


7、 其它

Zeppelin定位于交互式可视化分析环境,而yarn-client模式适用于交互和调试zeppelin目前不支持yarn-cluster模式运行

你可能感兴趣的:(Spark)