impala-kudu 使用

impala-kudu 安装

 

1、下载rpm。

bigtop-utils-0.7.0+cdh5.16.1+0-1.cdh5.16.1.p0.3.el6.noarch.rpm
 impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-debuginfo-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm
 lib64python2.6-2.6.6-1mdv2011.0.x86_64.rpm
 lib64sasl2-2.1.23-8mdv2010.1.x86_64.rpm

 

2、下载好之后，使用rpm命令进行全部安装，个别的需要使用 --nodeps （impala-kudu-2.7....）命令强制安装

       在主节点安装 impala-kudu、 impala-kudu-catalog、impala-kudu-state-store、 impala-kudu-udf-deve 、bigtop-utils 这5个包就行。也可以安装impala-kudu-server、impala-kudu-shell 这两个

       在子节点安装 impala-kudu、impala-kudu-server、impala-kudu-shelll 、 impala-kudu-udf-deve 、bigtop-utils 这些

3、在安装好之后、就可以发现在 /etc/default  和  /etc/impala 生成配置文件

       /etc/default 路径下会新生成两个文件 bigtop-utils  impala                        

    在bigtop-utils 文件中配置 java路径即可： export JAVA_HOME=/opt/soft/jdk1.7.0_79

    在impala 文件中只需要修改以下两项，将ip改为主机节点IP

     IMPALA_CATALOG_SERVICE_HOST=host1

     IMPALA_STATE_STORE_HOST=host1

      /etc/impala 路径先会有这两个空文件夹 conf   conf.dist

     将Hadoop中的配置文件core-site.xml 和 hdfs-site.xml 文件拷贝到 conf.dist 下面，之后做如下操作

     在core-site.xml文件中增加如下配置

             

        

        　　　  dfs.client.read.shortcircuit

        　　　　true

        

        

        　　    dfs.client.read.shortcircuit.skip.checksum

        　　　　false

        

        

        　　    dfs.datanode.hdfs-blocks-metadata.enabled

        　　　　true

        

       在hdfs-site.xml 文件中增加如下配置（在configuration中）

                 

　　　　　

　　　　　　　　dfs.datanode.hdfs-blocks-metadata.enabled

　　　　　　　　true

　　　　　

　　　　　

　　　　　　　　dfs.block.local-path-access.user

　　　　　　　　impala

　　　　　

　　　　　

　　　　　     　dfs.client.file-block-storage-locations.timeout.millis

　　　　　　     60000

　　　　　

       以上四个文件的操作在集群中的每台机器上都做。

4.1、接下来就可以启动服务了

       service impala-state-store restart

       service impala-catalog restart

       service impala-server restart

 

4.2、如果使用impala-kudu 连接kudu：

service impala-state-store restart --kudu_master_hosts=host1:7051

service impala-catalog restart --kudu_master_hosts=host1:7051

service impala-server restart --kudu_master_hosts=host1:7051

 

5 

创建kudu表：

CREATE TABLE dept (

id BIGINT,

name STRING

) distribute by range(name) split rows(('it'),('op'),('hr'))

TBLPROPERTIES(

   'storage_handler' = 'com.cloudera.kudu.hive.KuduStorageHandler',

   'kudu.table_name' = 'dept',

   'kudu.master_addresses' = 'host1:7051',

   'kudu.key_columns' = 'id,name'

);

6:如果启动不起来，试试将这两个文件放到/etc/yum.repo.d/。

7：如果启动不起来，给impala用户hdfs的权限。