如何快速体验Apache Zeppelin

开篇之作,本来是想介绍下Apache Zeppelin的架构。不过后来还是觉得要先介绍下如何快速体验最新版的Apache Zeppelin,这样才能让用户对Zeppelin有个直观的感受。

敲黑板划重点:整个系列我都会基于Zeppelin的master branch (0.9.0-SNAPSHOT),目前大部分0.9.0的feature都已经完成,预计今年(2019)秋天会release.

接下来我会详细讲讲如何快速体验Apache Zeppelin的0.9.0-SNAPSHOT。

准备工作

以下是你需要准备的东西:

  • Linux 系统或者 Mac OS (千万不要用Windows,虽然之前0.7是支持Windows的,但是随着越来越多的feature加进来,社区目前没有足够的资源来投入到对windows的支持,所以请不要在windows上编译安装Zeppelin,当然如果有人愿意投入时间去做对windows的支持,Zeppelin社区会非常欢迎和支持,如果有意愿,请联系我)

  • Java 8

  • Git

  • Apache Maven

好的,现在假设你已经在你的Linux或Mac电脑上安装了Java 8, Git 以及Apache Maven,接下来你就可以下载编译Zeppelin了。

下载Zeppelin源码

git clone https://github.com/apache/zeppelin.git

编译打包Zeppelin

用下图命令,你可以编译一个完整的zeppelin,这里说的完整是指包含所有的interpreter。

mvn clean package -DskipTests

注意事项:

  1. 如果你是在linux系统里build zeppelin,不要用root用户,root用户无法build zeppelin-web模块
  2. 如果你是在linux系统里build zeppelin,请安装bzip2
  3. 如果你不能翻墙,很有可能无法下载某些依赖而导致build失败。这时候,你有2种选择:
    a. 翻墙
    b. 只编译部分interpreter模块,因为Zeppelin的interpreter是插件式的,所以只编译部分interpreter模块,并不影响Zeppelin的使用,只是没有编译的interpreter没法使用而已。
    在编译interpreter模块之前,需要用以下命令编译Zeppelin的核心模块
mvn clean install -DskipTests -DskipRat -pl zeppelin-web,zeppelin-server  -am # 编译zeppelin核心模块
cd zeppelin-plugins  # cd到zeppelin的插件模块
mvn clean package -DskipTests  # 编译zeppelin所有的插件模块

接下来就可以编译interpreter模块了,下面例举了如何分别编译python,jdbc和spark interpreter。

cd .. # 回到zeppelin根目录
mvn clean package -DskipTests -pl python  # 编译python模块
mvn clean package -DskipTests -pl jdbc  # 编译jdbc模块
mvn clean package -DskipTests -pl spark/interpreter,spark/scala-2.10,spark/scala-2.11,spark/scala-2.12 -am # 编译spark模块,spark模块和其他模块不太一样,需要指定多个模块,并且加上 ‘-am’,因为spark模块本身是由多个子模块构成。

启动Zeppelin

在上一步编译打包完成后,我们就可以启动Zeppelin了。

bin/zeppelin-daemon.sh start

划重点: 很不幸,如果你不能翻墙,启动Zeppelin会有问题(默认情况下Zeppelin会从AWS S3上下载一个配置文件)。所以这里我们需要修改下Zeppelin的配置信息。Zeppelin的配置信息都在根目录下的conf文件夹,里面有2个重要的配置文件 zeppelin-site.xml,zeppelin-env.sh。默认没有这2个配置文件,只有他们的模板文件,所以首先我们要创建新的配置文件

cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml
cp conf/zeppelin-env.sh.template conf/zeppelin-env.sh

接下来你需要添加以下配置信息到zeppelin-site.xml


  zeppelin.helium.registry
  helium

到此为止,你再重启下zeppelin就可以使用zeppelin了。

bin/zeppelin-daemon.sh restart

在浏览器里打开 http://localhost:8080 就能看到Zeppelin了

如何快速体验Apache Zeppelin_第1张图片
image.png

需要加入Zeppelin微信群的请扫描下面二维码

如何快速体验Apache Zeppelin_第2张图片
image.png

你可能感兴趣的:(如何快速体验Apache Zeppelin)