hive Cannot obtain block length for LocatedBlock 报错定位

1.背景:昨天运维同事生产升级了MySQL,跑的定时任务出错。
2.查看jobhive Cannot obtain block length for LocatedBlock 报错定位_第1张图片
发现规律 所有的查询都跑完,但插入不进去数据。
3.查看日志mr都100%但插入的都被kill掉了,最后有个映射错误啥的,错误不明显。
hive Cannot obtain block length for LocatedBlock 报错定位_第2张图片
4,在HUE上测试
hive Cannot obtain block length for LocatedBlock 报错定位_第3张图片
的确是查可查,但插入不了,页面报错这个。很玄乎没啥好定位的,但确认是有错,且是插入错误。
5,截图联系运维人员一起排查。运维人员进入集群后看server2日志看到 Cannot obtain block length for LocatedBlock
6.查了很多资料
https://zhuanlan.zhihu.com/p/53593639
https://www.cnblogs.com/cssdongl/p/6700512.html
https://www.cnblogs.com/cssdongl/p/6699919.html
https://www.cnblogs.com/cssdongl/p/6700512.html(给出问题分析,再去解决问题)
https://blog.csdn.net/qq_29992111/article/details/80533563(直接解决问题)
最后修复好了。
原因是昨晚升级MySQL时某个数据没同步好,最后修复了。
和运维同事互相配合忙活了很久,慢慢定位到的。希望大家下次少趟点坑,早下班,保护好头发!

你可能感兴趣的:(Hive)