impala刷新数据出错

clipboard1.png

看日志说是阈值达到了,然后去各个datanode看了下,硬盘还有好几十个T,然后没看出来问题在哪。

  • 就把hadoop重启下,结果好几个datanode起不来了,去上面看,说是没space.
  • 郁闷,明明硬盘还很多空间。后来想起来另一个地方,Inodes.
  • 使用df -i看了下,果然,100%。然后就去删除一个文件夹下的无用的文件,把inodes释放出来,然后启动datanode可以了。后来脚本又可以正常刷新了。

inodes

在此普及一下inodes

一、inode是什么?

理解inode,要从文件储存说起。
文件储存在硬盘上,硬盘的最小存储单位叫做"扇区"(Sector)。每个扇区储存512字节(相当于0.5KB)。

操作系统读取硬盘的时候,不会一个个扇区地读取,这样效率太低,而是一次性连续读取多个扇区,即一次性读取一个"块"(block)。这种由多个扇区组成的"块",是文件存取的最小单位。"块"的大小,最常见的是4KB,即连续八个sector组成一个 block。

文件数据都储存在"块"中,那么很显然,我们还必须找到一个地方储存文件的元信息,比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode,中文译名为"索引节点"。


详细信息请查看https://www.cnblogs.com/itech/archive/2012/05/15/2502284.html

你可能感兴趣的:(impala刷新数据出错)