hive建表导入数据，用hive查询表无数据，而用persto查询有数据

先看代码

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.execution.engine=tez;

insert overwrite table dwd_data.dwd_table  partition(dt)
    select 
        ,platform
        ,dt
    from data_assets.ods_table
    where platform='A'
    and dt='2021-04-13'
    
    union  all

    select 
        platform
        ,dt
    from data_assets.ods_table
    where platform='B'
    and dt='2021-04-13'
;

从A、B两个平台向dwd_data.dwd_table插入数据

遇到问题

查询表dwd_data.dwd_table，发现使用hive查询没有数据，使用persto查询有数据

同一个表，hive查询没有数据，但是presto有

问题因素

在hive中分别使用tez和mr两种模式进行计算(hql中包含union all)，最终得到的数据结果却不相同，mr在对表进行读取时，无法获取到数据。

查找原因

经过排查发现，读取表的输出目录，在分区目录下发现了两个子目录

/user/hive/warehouse/dwd_data/dwd_table/1
/user/hive/warehouse/dwd_data/dwd_table/2

查阅资料后发现tez对于insert union操作会进行优化，通过并行加快速度，为防止有相同文件输出，所以对并行的输出各自生成成了一个子目录，在子目录中存放结果。如果此时全部hive客户端引擎及相关都设定为tez，则无问题。如果有客户端还在使用mr引擎，则会出现读取不到数据的情况。

解决办法

方法一

在对表进行写入操作的时候，统一使用mr进行操作，避免出现这种问题。

方法二

使用distribute by将文件打散

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.execution.engine=tez;

insert overwrite table dwd_data.dwd_table  partition(dt)
select t.* 
from(
    select 
        ,platform
        ,dt
    from data_assets.ods_table
    where platform='A'
    and dt='2021-04-13'
    
    union  all

    select 
        platform
        ,dt
    from data_assets.ods_table
    where platform='B'
    and dt='2021-04-13'
) t
distribute by rand()
;