对hadoop的tmp目录下的filecache的处理

hadoop.tmp.dir指定hadoop的临时存储目录。在该目录下有filecache会占用很多的存储。
做如下改动:
1.增加配置,分发到所有节点,自动清理

<property>
     <name>yarn.nodemanager.localizer.cache.cleanup.interval-msname>
    <value>3000value>
property>

2.每个节点手动删除内容:

rm -rf   /usr/local/hadoop/tmp/nm-local-dir/usercache/root/filecache/*

3.重启大数据相关服务:

cd /opt/module
./spark-2.4.5/sbin/stop-all.sh
hiveservices.sh stop
stop-all.sh

start-all.sh
hiveservices.sh start 
./spark-2.4.5/sbin/start-all.sh

你可能感兴趣的:(大数据,hadoop,大数据,spark)