HDFS文件删除后,HIVE元数据还存在的问题

一.背景

         手动在hdfs上删除了一个表的分区数据(inc_day=2023-08-30),当查询这个表这个分区的数据时报错文件不存在

HDFS文件删除后,HIVE元数据还存在的问题_第1张图片

二.原因

        即HDFS数据删除了,但是hive metastore元数据却没有更新,使用show partitions tablename 发现该分区还存在

三.解决办法

  • 查阅资料发现hive的msck命令只能修复新增的分区
msck repair table tablename;

  • 可以使用以下命令解决
alter table  tableneme  drop partition(inc_day='2023-08-30')
对应有条件清理对应分区的,可以使用规则判断,或者正则
alter table  tableneme partition(inc_day < '2023-08-30')

你可能感兴趣的:(hadoop,hdfs,hive,hadoop)