解决Container runtime is down,PLEG is not healthy: pleg was last seen active 11m51.675590038s ago

报错:Container runtime is down,PLEG is not healthy: pleg was last seen active 11m51.675590038s ago; threshold is 3m0s

问题描述

cicd的rancher环境两个节点都报这个错,导致节点上的应用都不能用了。

解决办法

根本原因是systemd的一个bug导致,在故障节点执行systemctl daemon-reexec可解决。

根本解决需要升级systemd,升级后需要重启系统。

关于PLEG

pleg是pod生命周期事件生成器"pod lifecycle event generator", 的缩写。pleg会记录Pod生命周期中的各种事件,如容器的启动、终止等,这些事件会写入缓存中,同时他检测到container异常退出时,他会通知kubelet,然后重启创建该container。(https://github.com/kubernetes/kubernetes/issues/45419#issuecomment-304413713)

pleg在每次迭代检查中会 调用docker ps来检测容器状态的变化,并调用docker Inspect来获取这些容器的详细信息。

在完成每次迭代之后,它更新一个时间戳。如果时间戳有一段时间没有更新(即3分钟),则运行状况检查失败。

 

如果解决了你的问题,可以点个赞哦! 有缘再会.

 

 

人生如梦,一樽还酹江月。

你可能感兴趣的:(解决Container runtime is down,PLEG is not healthy: pleg was last seen active 11m51.675590038s ago)