impala row_number() 用法

impala row_id 的生成方法 ，用row_number() 。

若要给impala的维度表添加一个row_id 可以用row_number() over(partition by column1 order by column2 desc) as row_id

最近处理impala数据时，源数据比较乱，没有规范。例如有份数据包含代码、名称、分类等；源数据里一个代码可能有多个不同的名称、分类等；把这份数据处理下，获取所有的代码，以及相应代码对应最多的那个名称、分类等（其他字段以此类推），将数据加工到另一张表里。
因为有可能相应代码对应的最多名称或其他属性的个数一样（一个代码有3个A名称，3个B名称，最多名称的个数都是3），所以可以给数据（代码，名称，个数）添加一个行号再去关联代码 最多名称个数（其中某个行号的最多名称个数） 获得代码对应的最多数量的名称。

with name1 as (select  row_number() over(partition by code order by count(*) desc) as row_id, code, name, count(*) as cnt1 from  ods.cd_info  group by code ,name ) ,
     name2 as (select  code,max(cnt1) cnt2  from name1  group by code), 
     NAME  as (select  name1.code,name1.name from name1 join name2 on name1.code=name2.code and name1.cnt1=name2.cnt2  where name1.row_id=1 ) ,
     type1 as (select  row_number() over(partition by code order by count(*) desc) as row_id, code, type_id, count(*) as cnt1  from  ods.cd_info  group by code ,type_id ) ,
     type2 as (select  code,max(cnt1) cnt2  from type1  group by code) , 
     TYPE  as (select  type1.code,type1.type_id from type1 join type2 on type1.code=type2.code and type1.cnt1=type2.cnt2 where type1.row_id=1)
select a.code,b.name,c.type_id
from ods.cd_info a
join NAME b on b.code=a.code  
join TYPE c on c.code=a.code
group by a.code,b.name,c.type_id

impala处理数据时，获取代码、名称等字段， 添加一个唯一row_id标识；要求后面更新数据时，row_id 不能变，也用row_number() 来生成 row_id。
往 cd_info_all 表里 插入 一份包含row_id字段的数据。

with  newdata as ( select code, name ),
      alldata as ( select newdata.*,
              olddata.row_id,
              -- 根据code判断，1 新数据：插入 0 旧数据：更新
              if(olddata.code is null,1,0) as is_new
              from newdata
              full join ods.cd_info_all olddata on newdata.code= olddata.code ),
      updatedata as(
            select
            alldata.row_id,
            alldata.code,
            alldata.name	
            from alldata where is_new = 0 ) ,
      insertdata as (
            select 
            row_number() over(order by rand())+maxid+10000000 as row_id,
            alldata.code,
            alldata.name 
            from alldata 
            cross join (select coalesce(max(row_id),0) maxid from updatedata) b where is_new = 1 )
            select 
            row_id,
            code,
            name 
            from updatedata
            union all
            select  
            row_id,
            code,
            name
            from insertdata