解决 Docker + selenium + chromedriver + chrome 会出现僵尸进程的问题

一、僵尸进程问题

在docker里，使用selenium爬虫，  webdriver quit后，会产生很多僵尸进程。

docker run  - it  - v / home / blackip :/ home / blackips /   selenium : 1.0   python3 linux_black_ip . py

top查看僵尸进程：

ps -ef | grep defunct查看僵尸进程：

僵尸进程的父进程是python3。

看了下chrome运行时的状况，发现开始的父进程并不是1，但到最后都变成了1，并且变为defunct状态：

ps -ef | grep chrome| grep -v defunct

超多的僵尸进程会耗尽 pid 表，导致 Chrome failed to start: exited abnormally.

snapshot-consumer | selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.

snapshot-consumer | (unknown error: DevToolsActivePort file doesn't exist)

snapshot-consumer | (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

snapshot-consumer | Stacktrace:

二、原因分析

在调查了进程树之后，终于发现：chromedriver fork出了多个子进程和一个孙进程，而 调用quit后，chrome driver正常退出，而它的子孙们变成了孤儿进程 ，被托管给了docker的1号进程，也就是docker的启动进程。这些孤儿进程退出后，根据孤儿进程托管的优先级，最终由1号进程托管，而 1号进程是业务进程， 没有能力处理子进程退出的信号 （wait/waitpid），这些孤儿进程就变成了僵尸进程。

   

对于Linux 来说， pid 为 1 的进程，有着特殊的使命：

1. 传递退出信号，确保子进程正确退出
2. wait子进程退出，回收僵尸进程

三、解决办法

3.1、脚本内部加入信号处理的方法

参照文章： docker，孤儿进程和僵尸进程 - 简书

在Linux下可以简单地将SIGCHLD信号的操作设为SIG_IGN，这样，内核在子进程结束时不会产生僵尸进程。python 可以调用singal包来处理。

 

signal包的核心是使用signal.signal()函数来预设(register)信号处理函数：

参照：

1. Python模块之信号（signal） - 每天进步一点点！！！ - 博客园 (cnblogs.com)
2. (7条消息) Python Signal(信号) 异步系统事件_jhonguy的博客-CSDN博客

singnal.signal(signalnum, handler)

参数：

• signalnum为某个信号，
• handler为该信号的处理函数。

我们在信号基础里提到，进程可以无视信号，可以采取默认操作，还可以自定义操作。当handler为signal.SIG_IGN时，信号被无视(ignore)。当handler为singal.SIG_DFL，进程采取默认操作(default)。当handler为一个函数名时，进程采取函数中定义的操作。

​
# python3
# 开头加入如下代码，告诉此进程 SIGCLD的信号用SIG_IGN方法处理
import signal
signal.signal(signal.SIGCLD, signal.SIG_IGN)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

chrome_options = webdriver.ChromeOptions()  # 或者 chrome_options = Options()
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])  # 防止反爬
chrome_options.add_argument('--disable-blink-features=AutomationControlled')  # 避免webdriver检测
chrome_options.add_argument("--remote-debugging-port=9222") # 解决报错 WebDriverException: Message: unknown error: DevToolsActivePort file doesn't exist
chrome_options.add_argument('--no-sandbox')  # 直接把sandbox禁用了，–-no-sandbox参数是让Chrome在root权限下跑
chrome_options.add_argument('--disable-dev-shm-usage') # 大量渲染时候写入/tmp而非/dev/shm
chrome_options.add_argument('--headless')  # 无头模式，传递此参数浏览器不会显示界面，程序在后台运行
hrome_options.add_argument('--disable-gpu')  # 禁用GPU加速
chrome_options.add_argument("user-agent='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'") # 模拟浏览器
# chrome_options.add_argument('--proxy-server=http://127.0.0.1:10809')  # 利用v2ray配置代理

driver = webdriver.Chrome(options=chrome_options, service=Service('/usr/local/bin/chromedriver'))
# driver.set_page_load_timeout(300)
driver.maximize_window()  # 仅仅适配到当前显示屏大小，数据偶尔还是不完整，需要下滑鼠标

try:
    driver.get("https://www.163.com")
  
except Exception as e:
    print(e)
else:
    content = driver.page_source.encode('utf-8') # 获取页面响应数据
    print content
finally：
    driver.quit()
​

缺点：需要修改每个相关脚本。

3.2、dumb_init

参照 ：

• 防止产生僵尸进程的dumb-init程序
• dumb-init：一个Docker容器初始化系统_语言 & 开发_金灵杰_InfoQ精选文章

制作Dockerfile时可加上此程序，参考docker 中 browserless/chrome 的制作

# It's a good idea to use dumb-init to help prevent zombie chrome processes.
ADD https://github.com/Yelp/dumb-init/releases/download/v1.2.0/dumb-init_1.2.0_amd64 /usr/local/bin/dumb-init
RUN chmod +x /usr/local/bin/dumb-init

然后，要在容器中使用 dumb-init，可以直接安装deb 包，或者从 源码构建。容器启动时，使用 dumb-init 作为初始进程，确保所有子进程都由 dumb-init 进程创建：

docker run my_container dumb-init python -c 'while True: pass' 

结果：1号进程是dumb-init

缺点：需要先安装dumb -init才能在docker run时使用dumb -init。

3.3、docker运行时加入--init参数

在docker运行时加入--init参数，这样 docker内1号进程就是docker-init进程，业务进程则是其子进程 。

docker-init进程会将收到的信号传递给其子进程，并且会处理僵尸进程。

docker run  -it  --init  -v /home/blackip:/home/blackips/ selenium:1.0  python3 linux_black_ip.py

结果：

可以看到1号进程是/sbin/docker-init -- python3 linux_black_ip.py；top查看的僵尸进程zombie为0。

3.4、其他解决办法参考

• 一次 Docker 容器内大量僵尸进程排查分析 - 番茄系统家园 (nndssk.com)
• node.js - Kubernetes equivalent of `docker run --init` - Stack Overflow

如果直接使用 docker、docker-compose 就用第一种，如果是 k8s，就用第二种！

四、参考

docker，防止产生孤儿进程和僵尸进程 - 简书 (jianshu.com)

(6条消息) 爬虫服务(chromedp)僵尸进程排查记录_chromedp 僵尸进程_liyunlong41的博客-CSDN博客

dumb-init：一个Docker容器初始化系统_语言 & 开发_金灵杰_InfoQ精选文章