HIVE外部表删除重建指定HDFS目录后查询不到数据

HIVE外部表删除重建指定HDFS目录后查询不到数据,怎么办


  • 删除了外部表,没有删除hdfs文件
  • 重建了外部表又关联到之前的hdfs目录之后,select查询却没有数据
  • 需要MSCK REPAIR TABLE+tablename,之后查询,数据就回来了。

MSCK REPAIR TABLE命令是做啥的

MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。

hive有个服务叫metastore,这个服务主要是存储一些元数据信息,比如数据库名,表名或者表的分区等等信息。如果不是通过hive的insert等插入语句,很多分区信息在metastore中是没有的。只需要运行MSCK REPAIR TABLE命令,hive就会去检测这个表在hdfs上的文件,把没有写入metastore的分区信息写入metastore。

你可能感兴趣的:(大数据)