在CDH6.3中单独升级Impala到Apache Impala 3.4

１. 实验环境

• 一个CDH6.3.3集群，部署在三台Ubuntu16.04机器上
• 一台同样环境的Ubuntu16.04机器用来编译Apache Impala 3.4

CDH6.3.3对应的Impala基础版本是Apache Impala 3.2，当然还打了不少补丁。从Impala网页上能看到版本号是3.2.0-cdh6.3.3

2. 编译Apache Impala 3.4

Apache Impala是以源码的形式release的，因此需要自行在对应的平台上编译。找一个跟集群环境一致的机器，我这里是64位的ubuntu16.04。

2.1 下载源码

根据文档中的“Building Impala without Test Data (for testing Impala)”章节来编译Impala:
https://cwiki.apache.org/confluence/display/IMPALA/Building+Impala
所不同的是我们要编译的是3.4版本，不是最新的master分支，所以clone时要选好版本，这里选择3.4.1：

git clone --single-branch --branch 3.4.1 https://github.com/apache/impala.git impala-3.4
cd impala-3.4

注：若选的是3.4.0，由于Cloudera maven repo URL变更，需要修改pom.xml才能编译成功（IMPALA-9815），要打上 IMPALA-9815 的commit: https://github.com/apache/impala/commit/481ea4ab0d476a4aa491f99c2a4e376faddc0b03

git fetch origin 481ea4ab0d476a4aa491f99c2a4e376faddc0b03
git cherry-pick 481ea4ab0d476a4aa491f99c2a4e376faddc0b03

建议还是使用3.4.1，包含更多bug修复。

2.2 安装依赖和开始编译

然后用 bin/bootstrap_system.sh 脚本来安装编译依赖：

export IMPALA_HOME=`pwd`
$IMPALA_HOME/bin/bootstrap_system.sh

如果之前在这台机器上编译过Impala，也可以跳过上面这一步。
接下来是 source 一下 impala-config.sh 设置环境变量

source $IMPALA_HOME/bin/impala-config.sh

然后开始编译：

$IMPALA_HOME/buildall.sh -noclean -notests -release

注：如果是测试用途，可以把 -release 去掉，这样编译出来的 impalad 在遇到 bug 时能打出更多信息，比如 bug 能提前被 DCHECK 判定，更容易定位。

编译过程还要下载很多依赖，配好VPN速度会快很多。Maven相关的编译日志在 logs/mvn/mvn.log中，其它日志会打印到控制台。

我这边编译大概花了一个小时，编译完后可以找到impalad可执行文件和impala-frontend的jar包：

$ ll -h be/build/latest/service/impalad fe/target/impala-frontend-0.1-SNAPSHOT.jar
-rwxrwxr-x 1 quanlong quanlong 460M 6月  20 11:30 be/build/latest/service/impalad*
-rw-rw-r-- 1 quanlong quanlong 7.5M 6月  20 11:33 fe/target/impala-frontend-0.1-SNAPSHOT.jar
$ strings be/build/latest/service/impalad | grep 3.4.1
3.4.1-RELEASE

上面最后一条指令，应该可以在impalad可执行文件中找到 3.4.1-RELEASE 这样的字符串。

2.3 去除debug符号信息

编译出来的 impalad 可执行文件有 400 多M，因为包含了很多符号信息。可以用 strip --strip-debug impalad 降低它的大小。

impala默认使用静态编译，但还是有一些动态依赖，用 ldd 指令查看：

$ ldd be/build/latest/service/impalad 
	linux-vdso.so.1 =>  (0x00007ffce6354000)
	/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server/libjsig.so (0x00007f95f07f2000)
	libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007f95f05d5000)
	libsasl2.so.2 => /usr/lib/x86_64-linux-gnu/libsasl2.so.2 (0x00007f95f03ba000)
	libjvm.so => /usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server/libjvm.so (0x00007f95ef465000)
	libkudu_client.so.0 => /home/quanlong/workspace/impala-3.4/toolchain/kudu-4ed0dbbd1/debug/lib/libkudu_client.so.0 (0x00007f95eecf8000)
	librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007f95eeaf0000)
	libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007f95ee8ec000)
	libssl.so.1.0.0 => /lib/x86_64-linux-gnu/libssl.so.1.0.0 (0x00007f95ee683000)
	libcrypto.so.1.0.0 => /lib/x86_64-linux-gnu/libcrypto.so.1.0.0 (0x00007f95ee23e000)
	libkrb5.so.3 => /usr/lib/x86_64-linux-gnu/libkrb5.so.3 (0x00007f95edf6c000)
	libgssapi_krb5.so.2 => /usr/lib/x86_64-linux-gnu/libgssapi_krb5.so.2 (0x00007f95edd22000)
	libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007f95ed9a0000)
	libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007f95ed697000)
	libgcc_s.so.1 => /home/quanlong/workspace/impala-3.4/toolchain/snappy-1.1.4/lib/libgcc_s.so.1 (0x00007f95ed481000)
	libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007f95ed0b7000)
	/lib64/ld-linux-x86-64.so.2 (0x00007f95f09f6000)
	libk5crypto.so.3 => /usr/lib/x86_64-linux-gnu/libk5crypto.so.3 (0x00007f95ece88000)
	libcom_err.so.2 => /lib/x86_64-linux-gnu/libcom_err.so.2 (0x00007f95ecc84000)
	libkrb5support.so.0 => /usr/lib/x86_64-linux-gnu/libkrb5support.so.0 (0x00007f95eca79000)
	libkeyutils.so.1 => /lib/x86_64-linux-gnu/libkeyutils.so.1 (0x00007f95ec875000)
	libresolv.so.2 => /lib/x86_64-linux-gnu/libresolv.so.2 (0x00007f95ec65a000)

这些 so 文件大部分是系统自带的或者已安装的，我们只要复制跟Impala版本相关的就好，比如说 libkudu_client.so.0，其它的不需要一并复制。

注：替换 libkudu_client.so.0 是因为impala3.4使用了impala3.2的kudu client不支持的功能。Impala 3.3开始支持kudu表的列注释，升级了依赖的Kudu client版本，具体见IMPALA-5351。如果不使用这个功能，据说也可以不替换libkudu_client.so.0（本人未验证）。

3. 部署研究

登到集群机器上，查看impalad、statestored、catalogd这些进程用的是哪些可执行文件，用类似 “ps aux | grep catalogd” 的指令可以找到它们的启动命令分别是：

/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala/sbin-retail/catalogd --flagfile=/var/run/cloudera-scm-agent/process/39-impala-CATALOGSERVER/impala-conf/catalogserver_flags
/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala/sbin-retail/statestored --flagfile=/var/run/cloudera-scm-agent/process/38-impala-STATESTORE/impala-conf/state_store_flags
/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala/sbin-retail/impalad --flagfile=/var/run/cloudera-scm-agent/process/37-impala-IMPALAD/impala-conf/impalad_flags

这里用的 flagfile 是CM生成的，我们不需要管，只需要让CM使用新的可执行文件就行了。我们来生成一个和 /opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala 目录结构一样的目录，然后通过在 CM 里设置 IMPALA_HOME 环境变量来使用它。目录结果如下：

# ll /opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala
total 52
drwxr-xr-x  9 root root  4096 Jan 20 05:42 ./
drwxr-xr-x 31 root root  4096 Jan 20 05:42 ../
drwxr-xr-x  2 root root  4096 Jan 20 05:20 bin/
drwxr-xr-x  2 root root  4096 Jan 20 05:21 cloudera/
drwxr-xr-x  2 root root 20480 Jan 20 05:42 lib/
lrwxrwxrwx  1 root root    11 Jan 20 05:42 sbin -> sbin-retail/
drwxr-xr-x  2 root root  4096 Jan 20 05:42 sbin-debug/
drwxr-xr-x  2 root root  4096 Jan 20 05:42 sbin-retail/
drwxr-xr-x  7 root root  4096 Jan 20 05:21 toolchain/
drwxr-xr-x  7 root root  4096 Jan 20 05:20 www/

逐个看一下，bin目录主要是一些诊断用的脚本，不用管：

# ls bin
collect_diagnostics.py  collect_minidumps.py  collect_shared_libs.sh  __init__.py

cloudera目录是版本信息，不用管。lib里是一些jar包的软链，以及依赖的so文件，这个要复制好（详见下节）。
sbin目录指向sbin-retail，里面主要是impalad可执行文件，catalogd和statestored都是软链，不用复制：

# ll /opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala/sbin-retail/
total 64336
drwxr-xr-x 2 root root     4096 Jan 20 05:42 ./
drwxr-xr-x 9 root root     4096 Jan 20 05:42 ../
lrwxrwxrwx 1 root root        7 Jan 20 05:21 catalogd -> impalad*
-rwxr-xr-x 1 root root 65870296 Jan 20 05:42 impalad*
lrwxrwxrwx 1 root root        7 Jan 20 05:21 statestored -> impalad*

toolchain目录里都是已经被静态链接进impalad可执行文件的，不知道怎么还带着，不用管：

# ls toolchain/
breakpad-97a98836768f8f0154f8f86e5e14c2bb7e74132e-p2  cmake-3.14.3  llvm-5.0.1-asserts-p1  llvm-5.0.1-p1  orc-1.5.5-p1

www目录是网页要用的，也需要更新（详见下节）。

最后再用ldd指令确认一下依赖的动态链接库

# ldd /opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/impala/sbin-retail/impalad
        linux-vdso.so.1 =>  (0x00007ffe9af90000)
        libjsig.so => not found
        libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fa646f00000)
        libsasl2.so.2 => /usr/lib/x86_64-linux-gnu/libsasl2.so.2 (0x00007fa646ce4000)
        libjvm.so => not found
        libkudu_client.so.0 => not found
        librt.so.1 => /lib/x86_64-linux-gnu/librt.so.1 (0x00007fa646adb000)
        libdl.so.2 => /lib/x86_64-linux-gnu/libdl.so.2 (0x00007fa6468d7000)
        libgssapi_krb5.so.2 => /usr/lib/x86_64-linux-gnu/libgssapi_krb5.so.2 (0x00007fa64668d000)
        libssl.so.1.0.0 => /lib/x86_64-linux-gnu/libssl.so.1.0.0 (0x00007fa646423000)
        libcrypto.so.1.0.0 => /lib/x86_64-linux-gnu/libcrypto.so.1.0.0 (0x00007fa645fde000)
        libkrb5.so.3 => /usr/lib/x86_64-linux-gnu/libkrb5.so.3 (0x00007fa645d0c000)
        libstdc++.so.6 => /usr/lib/x86_64-linux-gnu/libstdc++.so.6 (0x00007fa645989000)
        libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fa645680000)
        libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fa64546a000)
        libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fa64509f000)
        /lib64/ld-linux-x86-64.so.2 (0x000055d437435000)
        libk5crypto.so.3 => /usr/lib/x86_64-linux-gnu/libk5crypto.so.3 (0x00007fa644e70000)
        libcom_err.so.2 => /lib/x86_64-linux-gnu/libcom_err.so.2 (0x00007fa644c6c000)
        libkrb5support.so.0 => /usr/lib/x86_64-linux-gnu/libkrb5support.so.0 (0x00007fa644a60000)
        libkeyutils.so.1 => /lib/x86_64-linux-gnu/libkeyutils.so.1 (0x00007fa64485c000)
        libresolv.so.2 => /lib/x86_64-linux-gnu/libresolv.so.2 (0x00007fa644641000)

这里面有三个找不到，因为有些环境变量没有配，比如说 libjsig.so 和 libjvm.so 是java提供的，CM配置了java相关环境变量就能找到。我们能看到大部分so文件在系统里都有了，只需要复制新版本依赖的libkudu_client.so.0就行了。

4. 生成新Impala目录

先复制一份原目录，然后在它的基础上改。

# cd /opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/
# cp -r impala apache-impala-3.4
# cd apache-impala-3.4

4.1 lib目录

把lib目录里的jar包都删了，剩下so文件

# rm lib/*.jar
# ll lib
total 15040
drwxr-xr-x 2 root root   20480 Jun 20 00:42 ./
drwxr-xr-x 9 root root    4096 Jun 19 22:37 ../
-rw-r--r-- 1 root root   89864 Jun 19 22:37 libgcc_s.so.1
lrwxrwxrwx 1 root root      36 Jun 19 22:37 libhadoop.so -> ../../hadoop/lib/native/libhadoop.so
lrwxrwxrwx 1 root root      42 Jun 19 22:37 libhadoop.so.1.0.0 -> ../../hadoop/lib/native/libhadoop.so.1.0.0
-rw-r--r-- 1 root root 6638528 Jun 19 22:37 libkudu_client.so.0
-rw-r--r-- 1 root root 6638528 Jun 19 22:37 libkudu_client.so.0.1.0
-rw-r--r-- 1 root root 1003416 Jun 19 22:37 libstdc++.so.6
-rw-r--r-- 1 root root 1003424 Jun 19 22:37 libstdc++.so.6.0.20

把 libkudu_client.so.0 替换为我们编译Impala 3.4时用的，从前面ldd的输出可以看到在 $IMPALA_HOME/toolchain/kudu-4ed0dbbd1/debug/lib/libkudu_client.so.0
其它so文件不用管
把 impala-3.4依赖的jar包也都复制进这个lib目录，它们在编译目录里能找到，具体路径是 $IMPALA_HOME/fe/target/dependency/
把 impala-3.4编译出来的 impala-frontend-0.1-SNAPSHOT.jar 放进lib目录，在编译目录里的路径是 fe/target/impala-frontend-0.1-SNAPSHOT.jar
把 impala-3.4编译出来的 impala-data-source-api-1.0-SNAPSHOT.jar 放进lib目录，在编译目录里的路径是 ext-data-source/api/target/impala-data-source-api-1.0-SNAPSHOT.jar。这个其实也可以复制CDH6.3.3原有的，因为external-data-source这块已经几年没更新了……

4.2 sbin-retail目录

把里面的impalad换成apache impala 3.4编译后的impalad，在编译目录里的路径是 be/build/latest/service/impalad
检查catalogd和statestored两个软链是否指向了impalad:

ll sbin-retail
total 470152
drwxr-xr-x 2 root root      4096 Jun 20 00:35 ./
drwxr-xr-x 9 root root      4096 Jun 20 00:57 ../
lrwxrwxrwx 1 root root         7 Jun 19 22:37 catalogd -> impalad*
-rwxr-xr-x 1 root root 481420800 Jun 20 00:06 impalad*
lrwxrwxrwx 1 root root         7 Jun 19 22:37 statestored -> impalad*

4.3 www目录

这个目录是WebUI用的，把旧版的删了，复制新版的过来。

5. 更改CM配置并重启

把新的Impala目录放到所有机器上，确保它们一致。然后在CM中去到Impala -> Configuration -> Impala Service Environment Advanced Configuration Snippet (Safety Valve)，加一个环境变量 IMPALA_HOME=/opt/cloudera/parcels/CDH-6.3.3-1.cdh6.3.3.p0.1796617/lib/apache-impala-3.4

然后重启整个Impala集群。重启成功后，可以看到catalogd、statestored、impalad启用了新页面，并且版本号是3.4

6. 验证和回滚

最后要验证一下集群是否工作正常，包括Impala 3.4的一些新功能。如果有任何不兼容的地方，回滚CM的配置再重启Impala集群就回来了，因为我们并没有动老版本的任何东西。

7. 总结

在CDH中单独升级Impala，可以通过以下步骤：

• 在 /opt/cloudera/parcels/CDH/lib 目录下生成一个新的impala目录
• 复制新版本的以下内容到目录对应位置：impalad、impala-frontend-0.1-SNAPSHOT.jar、所有新版FE依赖的jar包、www目录、新版本依赖的 libkudu_client.so.0
• 在CM的Impala Service Environment Advanced Configuration Snippet (Safety Valve)配置中，设置IMPALA_HOME环境变量指向新目录
• 重启集群

单独升级Impala需要对Impala有一定的技术储备，Cloudera官方并不建议这样做，因为与已有CDH组件的兼容性问题并没有得到测试。以上只是我个人的升级实验，有任何不兼容的问题，欢迎大家前往Impala技术交流群进行讨论（加微信China_Impala获取进群方式）。