impala-kudu安装

最近在研究kudu,之前已经安装过kudu了,需要安装impala-kudu才能在控制台操作,所以简单记录一下鄙人的安装过程,有什么不对会需要优化的地方请指教。

(如果你是使用API 操作kudu 的话就没必要安装impala-kudu了。我不知道如何用 Cloudera Manager 这个安装,这个貌似比较简单。)

我的 系统时centos 6.5 的

1、首先进入官网,下载所需要的包,有以下这些

     官网链接:http://archive.cloudera.com/beta/impala-kudu/redhat/6/x86_64/impala-kudu/0/RPMS/x86_64/

[ ]    impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     185M    
[ ]    impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     4.6K    
[ ]    impala-kudu-debuginfo-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     346M    
[ ]    impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     4.5K    
[ ]    impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     942K    
[ ]    impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2016-08-18 23:20     4.6K    
[ ]    impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm    2

除此之外还需要下面这个包,该安装包得在其他地方下载

 bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el6.noarch.rpm

可以从这里下载:

http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/RPMS/noarch/

2、下载好之后,使用rpm命令进行安装,个别的需要使用 --nodeps 命令强制安装

       在主节点安装 impala-kudu、 impala-kudu-catalog、impala-kudu-state-store、 impala-kudu-udf-deve 、bigtop-utils 这5个包就行。也可以安装impala-kudu-server、impala-kudu-shell 这两个

       在子节点安装 impala-kudu、impala-kudu-server、impala-kudu-shelll 、 impala-kudu-udf-deve 、bigtop-utils 这些

3、在安装好之后、就可以发现在 /etc/default  和  /etc/impala 生成配置文件

       /etc/default 路径下会新生成两个文件 bigtop-utils  impala                       

    在bigtop-utils 文件中配置 java路径即可: export JAVA_HOME=/opt/soft/jdk1.7.0_79

    在impala 文件中只需要修改以下两项,将ip改为主机节点IP

     IMPALA_CATALOG_SERVICE_HOST=host1
     IMPALA_STATE_STORE_HOST=host1

      /etc/impala 路径先会有这两个空文件夹 conf   conf.dist

     将Hadoop中的配置文件core-site.xml 和 hdfs-site.xml 文件拷贝到 conf.dist 下面,之后做如下操作

     在core-site.xml文件中增加如下配置

            
       
             dfs.client.read.shortcircuit
            true
       

       
              dfs.client.read.shortcircuit.skip.checksum
            false
       

       
              dfs.datanode.hdfs-blocks-metadata.enabled
            true
       

       在hdfs-site.xml 文件中增加如下配置(在configuration中)

                
     
        dfs.datanode.hdfs-blocks-metadata.enabled
        true
     

     
        dfs.block.local-path-access.user
        impala
     

     
           dfs.client.file-block-storage-locations.timeout.millis
           60000
     

       以上四个文件的操作在集群中的每台机器上都做。

 4、接下来就可以启动服务了

       $ sudo service impala-state-store start

       $ sudo service impala-catalog start

       $ sudo service impala-server start

       如果是在根目录下操作就不需要sudo,启动顺序按照上面的来,

       我在不按上面的顺序的情况下报错如下

      F0105 17:11:08.851205 40435 catalogd-main.cc:76] Couldn't open transport for localhost:24000 (connect() failed: Connection refused)
      . Impalad exiting.

5、接下来就大功告成,使用impala-shell 就可以进入窗口模式进行表的操作了

      



你可能感兴趣的:(impala-kudu)