记录一下采集程序遇到的坑

1.下载节点下载文件不成功,因为代码文件夹扫描提前return的问题,导致没扫到文件

2.hdfs节点一直报超时,到主机上一看,节点没有启动。

3.下载节点失败是jdbc连接线程达到最大,没关闭

4.解析失败: hasHeader写成了hashHeader

5.没下载到文件夹下: 没配置下载输出路径

6.不关解析成功或者失败都说明一下细节,不然success并不一定是真的成功

7.java.lang.OutOfMemoryError: GC overhead limit exceeded  解析程序就停止了

8.重启导致  ftp_running 没删除

9.分组后,读取不到stage消息,得在每一个stage里面加上${GROUP_NAME}

10.任务超时 是因为pod重启

11.put的时候,会导致不同路径下的同名文件put,于是给生成的文件加了随机数,并加了模板不存在的提醒,程序正常许多

12.把csv的写入改了方式,改成了逐行读写,以前直接文件读入内存的方式,任务多了容易崩溃

13.下午因为硬盘满,出错,将下载文件移动到挂载硬盘,以前在系统盘。

14.当前起了两个节点,随后起5个节点

15.现在每天看任务执行成功与否,然后改程序优化,被磨得没脾气了,放在以前,斗志十足得分分钟改完。

 

16.disk pressure,导致pod重启很多,失败很多,原因是collect命名空间设置了cpu和内存大小,而pod的总使用量大于了设置的上限。

17.hdfs传输文件的时候报no such file错误,可能是开多了ftp-schedule和ftp-service的问题

现在遇到得问题有点多。多总结多学习。

你可能感兴趣的:(记录一下采集程序遇到的坑)