hive的metastore问题汇总

1. metastore内存飙升

1 问题

metastore内存飙升降不下来;

spark集群提交的任务无法运行, 只申请到了dirver的资源;

2 原因

当Spark任务无法获取足够资源时,因为任务无法继续进行,不能将元数据从Metastore返回给任务

后,这些元数据暂存在Metastore中;

这种情况下,如果Metastore的内存不断累积,可能会导致内存占用过高,进而影响系统的稳定性

和性能;

3 措施

  • 增加Metastore的内存配置:减少内存溢出风险;
  • 优化集群扩容策略: 避免任务长时间无法获取资源;
  • 定期清理Metastore中无用元数据:避免不必要的内存占用;

你可能感兴趣的:(hive,hadoop,数据仓库)