使用HDFS fsck api在页面上快速查找文件

目的因业务需求需要查找hfds上不合规的文件

因无法登陆客户的服务器,但提供了 可以访问hdfs50070端口

使用fsck api即可

访问url : http://1x.x.x.x:50070/fsck?ugi=hadoop&path=/hotyuqi/hivePublicOpinionList&files=1

ugi后面跟的是参数,path是要查询的路径,files是显示所有文件,是0是1试了一下没区别但是这个参数一定要有不然不会显示文件。

使用HDFS fsck api在页面上快速查找文件_第1张图片

因为 1 B 的文件是不合规的 所有在浏览器使用Ctrl + F查找一下就找到8个不合规的文件,hadoop3.0之后提供了删除,可以删除掉就OK了,这里用的是2.7,需要各户配合删除掉不合规的文件,最重要的是更改代码判断,1B文件不再上传,这样历史问题和以后的问题就都解决了。

你可能感兴趣的:(大数据,hdfs)