Impala查询不到hive数据

背景

hive写入的数据,hive是可以查到数据,impala进行过元数据的刷新,然后查询此表,查询成功,返回结果是空表。

原因

写入数据的SQL里使用了UNION,导致HDFS目录结构多了一层,本来是分区底下直接是数据,使用了UNION后,有几个UNION,分区底下会出现几个文件夹,依次为1,2,3…,文件夹里面才是数据。导致Impala无法访问到具体数据。也许Imapla新版本解决了这个问题,该问题出现的是2.6版本。

方案

  1. 避免最终写入数据时使用UNION,可以先写入临时表,再写入最终表
  2. 直接使用Impala写入数据

你可能感兴趣的:(大数据技术)