flume传输大文件异常Input length = 2

在使用flume spooling组件传输文件时,经常会出现以下问题:

1.文件只能传输一部分。

2.第二次将文件放到flume的监控目录下时,不能传输文件,监控目录中的文件也不会被删除。

3.flume重启之后,文件才能继续被传输。

原因:在Spooling传输文件的时候,出现了同时读写一个文件导致的问题。

异常:Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

java.nio.charset.MalformedInputException: Input length = 2。

爆出下面的异常:


flume传输大文件异常Input length = 2_第1张图片

解决办法:

1.将原始日志cp到安装flume的同级目录下(防止在第二步mv的时候,不是在同一个磁盘会出现上面的异常)。

2.使用mv到flume监控目录。

你可能感兴趣的:(flume传输大文件异常Input length = 2)