impala parquet实现分桶查询

由于impala是没有分桶表的，但是会遇同一个partition中数据量非常巨大，但是某些查询只需要取出个别记录，就需要从海量数据中查询出一两条数据，这样就会造成资源浪费。
于是就需要有一种机制，像hive表中可以实现分桶查询：

create table teacher(id int,name string) clustered by (id) into 4 buckets

但是impala不支持分桶建表，所以，只能从另外一个角度去创建分桶查询。
主要思路：impala是支持分区建表的，可以取一个可以代表数据的唯一键，类似于主键的字段作为再分区字段，利用该字段进行哈希取模分区，将数据分布到若干个分区中，相当于将分区再建一层子分区，让子分区替代分桶机制，但是要求随机取出一条记录根据主键字段可以通过算法预先知道该数据在哪个子分区中。
以下举例具体说明：
一、生产场景
在生产中遇到以下情况，realinfo表数据是每天的明细数据，id是代表每个信息源个体的唯一标识，每个个体每10秒或者30秒内要向数据库发送一帧数据，所以每天数据量比较大，一天的parquet文件大小大概有300G左右，这样如果想查询某个id的某几帧数据，相当于从300G数据中查询一两条数据，查询速度比较慢。
二、解决步骤
（1）parquet文件建新分区
在生成parquet文件时原来的目录为****/realinfo/yearmonthday，代表某天的所有id的所有帧数据，impala建表时按照day分区，每天为一区。
但是分桶逻辑要在生成parquet数据是按照id再进行一次分区，就需要在parquet中再加一个字段parts，该字段通过哈希算法通过id取值，代表id落入哪个桶。
parts字段可以在生成dataFrame后通过sparksql加入，这里我直接写了200分桶，这个可以通过配置文件获取，但是，分桶数最好不，所以这里代码写死了。

table.createOrReplaceTempView("realinfo")
sparkSession.udf.register("partitionIndex", (id: String) => {
   val HASH_BITS = 0x7fffffff
   /**
     * 使用ConcurrentHashMap In Java 8中的hash算法
     */
   def spread(h: Int): Int = (h ^ (h >>> 16)) & HASH_BITS

   spread(vin.hashCode) % 200
 })
 table.write.mode(SaveMode.Overwrite).format("parquet").partitionBy("parts").save(path)

也可以在RDD层面加入，同理通过

def getParts(id:String) = {
      val HASH_BITS = 0x7fffffff
      def spread(h: Int): Int = (h ^ (h >>> 16)) & HASH_BITS
      spread(id.hashCode) % 200
    }

方法获取分桶数然后在save阶段时通过partitionBy(“parts”)使日期下再多一层分桶目录。
hdfs的目录结构为***/realinfo/yearmonthday/parts=*
（2）impala创建分区表

create table realinfo like parquet '***/realinfo/parts=1/part-00000-3b4ff75a-5cf6-4838-b6e6-4a5476ddeab1.snappy.parquet'
partitioned by (`date` string,`parts` string)
stored as parquet location '****/realinfo';

impala添加分区

alter table $table add partition(date='yearmonthday',parts='1');
...
alter table $table add partition(date='yearmonthday',parts='200');

(3)impala创建udf函数实现分桶查询
创建maven工程，在pom文件中加入依赖，hive版本号要和集群中一致

    
      org.apache.hive
      hive-exec
      1.1.1
    

具体代码要继承org.apache.hadoop.hive.ql.exec.UDF，实现evaluate方法，具体分桶算法要和生成parquet时算法一致。

public class IdPartition extends UDF {
    public String evaluate(String id)
    {
        long HASH_BITS = 0x7fffffff;
        int h = id.hashCode();
        long a = (h ^ (h >>> 16)) & HASH_BITS;
        return (a%200)+"";
    }
    public static void main(String args[]) {
        System.out.println("");
    }
}

打包上传到hdfs。
（4）在impala中创建UDF函数

CREATE FUNCTION id2 AS 'com.bitnei.IdPartition' USING JAR 'hdfs://192.168.6.105:8020/tmp/report-impala-1.2.0.jar'; 

（5）实现impala分桶查询

select * from realinfo where parts=id2(id);