Premature EOF from inputStream错误的不同原因

    今天例行的任务报Premature EOF from inputStream的错误(具体log被刷屏刷掉了)。根据这个关键信息去网上搜了下,有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意,也有说节点或者通信出问题,或者文件操作超租期,实际上就是data stream操作过程中文件被删掉了,后者的意思在后知后觉下其实已经比较接近我遇到的情况了。

    因此,我先检查了集群的节点,都是正常;而lzo的能性也因为最近没有对任务做更新也就排除了。

    最后一个偶然去检查了下存储的数据,发现有一个lzo文件size是0,检查其它天的文件没有这样的情况,直觉告诉我问题就出在这儿。问了同事也发现昨天有个机子日志打满,导致产出的lzo文件也为0,于是更加确定是这个问题。

    0size的文件现在已经移除也补上了正常的数据。如果不是这个原因,我待会儿再来吐槽。

你可能感兴趣的:(hive,lzo)