日志关键信息处理

spark任务异常失败后，需要重启任务
任务需要一个时间参数dh
dh是动态的向后流动的
因此每次重启的任务这个参数都是不同的
如何知道上次失败的时候dh执行到了何处
需要借助任务执行日志来确定

思路：
从日志文件中根据关键词"dh=",筛选出符合要求的行
从多行中筛选出最近一次的dh，也就是最后一样
从行中筛选出列，这时一个单独的列就是一个字符串
用字符串处理方式得到最终的值

     value=`cat ${FILE_LOG} | grep dh= | tail -1 | awk '{printf $4 "\t"  "\n"}' | sed 's/dh=//g'`