Cloudera Manager中安装部署Livy服务

1. 制作Livy的Parcel包和csd文件

2. 将Parcel包和manifest.json文件部署到httpd服务中

   [root@node01 ~]# mkdir -p /var/www/html/livy
   [root@node01 ~]# cd /var/www/html/livy
   [root@node01 livy]# cp /root/github/cloudera/cm-livy-scripts/LIVY-1.0-xenial.parcel ./
   [root@node01 livy]# cp /root/github/cloudera/cm-livy-scripts/manifest.json ./
   [root@node01 livy]# ll
   total 90956
   drwxr-xr-x 2 root root     4096 Apr  9 17:56 ./
   drwxr-xr-x 3 root root     4096 Apr  9 17:54 ../
   -rw-r--r-- 1 root root 93121920 Apr  9 17:54 LIVY-1.0-xenial.parcel
   -rw-r--r-- 1 root root      313 Apr  9 17:55 manifest.json
   

   浏览器访问是否部署成功
   

3. 将生成的csd文件,复制到cloudera-manager-server服务所在节点的/opt/cloudera/csd目录下

   [root@node01 ~]# cd /opt/cloudera/csd/
   [root@node01 csd]# cp /root/github/cloudera/cm-livy-scripts/LIVY-1.0.jar ./
   

4. 重启cloudera-scm-server服务

   [root@node01 ~]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server restart
   

5. 配置远程Parcel存储库
   

6. 重启Cloudera Management Service
   

7. 下载分发激活
   
   

8. 部署Livy
   
   
   
   
   
   
   

9. 遇到的问题
   Error found before invoking supervisord: 'getpwnam():name not found livy'
   
   解决办法：

   1. 在Livy REST Server所在服务器上增加livy用户及用户组

      groupadd livy
      useradd livy -g livy
      chown livy:livy /var/log/livy
      

   2. 在HDFS的core-site.xml 中添加一下配置：

      <property>
          <name>hadoop.proxyuser.livy.groups</name>
          <value>*</value>
      </property>
      <property>
          <name>hadoop.proxyuser.livy.hosts</name>
          <value>*</value>
      </property>
      

      

   没有如下Livy Server Web界面
   
   解决办法：
   更换Livy的CSD文件，重新启动CM。
   下载地址：

   链接：https://pan.baidu.com/s/1IPvqAtrNUSPVwE02pXUnhw 
   提取码：0skh