Linux shell实现多进程（进程池）

Linux shell实现多进程（进程池）

最近有个需求是要根据一个给定的 img.txt 文本批量下载一批文件，文本中每一行都是一个文件下载链接，样式如下：
img.txt

http://www.test.com/download/a.zip
http://www.test.com/download/b.zip
http://www.test.com/download/c.zip
...

根据需求最开始我打算写个脚本直接for循环+wget下载，脚本如下：
版本 1 （串行执行）

#!/bin/bash

for url in $(cat img.txt); do
	echo "download: ${url}"
    wget ${url}
done
echo "you have download all files"

实际下载时我发现这样做效率太低，因为for循环是单进程串行执行的，同一时间只能下载一个文件，耗时太久，怎么使用多进程同时下载这些文件呢

主要参考了这位博主：

https://blog.csdn.net/helimin12345/article/details/107592084

将一堆语句用｛｝括起来，在末尾加一个 &，那么shell就会启动一个子进程去执行｛｝里面的内容，而 wait 命令可以阻塞当前线程，等待这些子进程全部执行完之后再执行剩下的语句，改进脚本如下：
版本 2 （并行执行）

#!/bin/bash

for url in $(cat img.txt); do
	# 这里的 & 会开启一个子进程执行
	{
		echo "download: ${url}"
	    wget ${url}
    } &
done
# 使用 wait 命令阻塞当前进程，直到所有子进程全部执行完
wait
echo "you have download all files"

改进后的脚本其实有问题，for循环每一次都会开启一个子进程，如果下载链接特别多的话，会同时启动大量的进程，消耗服务器大量资源。并且服务器CPU数量是有限的，进程太多，CPU在进程间的调度切换也会非常耗费时间，效率反而降低。一般来说，进程数量和CPU数量相等时效率较高，要怎么准确控制进程的数量呢

实现多进程一个比较好的方式是使用队列，可以使用rabbitmq，kafka，redis等消息队列中间件，不过为了写个脚本还要部署一套中间件特别麻烦。linux中自带就有一个mkfifo 命令可以创建出一个管道，如果往管道中写入数据，进程会被阻塞，直到有另一个进程从管道中读取数据，同样的如果从管道中读取数据而管道中没有数据时，进程也会被阻塞，直到有另一个进程向管道中写入数据。根据这个特点可以用来实现生产者消费者模型，但是实测会丢失数据，具体原因未知：

另起一个窗口从管道中读取数据

直接使用mkfifo创建的管道会出现数据丢失，但如果使用 exec 命令给管道绑定文件描述符，再使用管道就不会出现数据丢失了
这里要注意0，1，2，255这四个文件描述符已经被操作系统用了，我这里用了4

实测另起一个窗口从管道中读取数据不会丢失，可以看出管道是先进先出的队列

补充一下：可以通过命令 ls -lh /proc/$$/fd 查看系统文件描述符

新建一个管道，给管道绑定文件描述符，向管道中事先写入几条数据，然后每开启一个子进程就读取1条数据，子进程结束前再向管道中补充1条数据，通过这种方式可以做到控制进程数量，脚本改进如下：
版本 3 （控制进程数量，推荐使用这种多进程方式）

#!/bin/bash

# 创建一个管道
mkfifo mylist
# 给管道绑定文件描述符4
exec 4<>mylist
# 事先往管道中写入5条数据（我这里是5个回车符），要开启几个子进程就写入多少条数据
for ((i=0; i < 5; i++)); do
    echo >mylist
done

for url in $(cat img.txt); do
    # 创建子进程前先从管道中读取一条数据，当循环5次后管道空了，主进程就会被阻塞
    # 一直等到管道中又有新数据了主进程才被唤醒继续执行
    read <mylist

    # 这里的 & 会开启一个子进程执行
    {
        echo "download: ${url}"
        wget ${url}
        # 子进程结束前往管道中补充1条数据（我这里是补充1个回车符）
        # 被阻塞的主进程才能读取到数据继续执行，这样就保持子进程数量始终最多5个
        echo >mylist
    } &
done
# 使用 wait 命令阻塞当前进程，直到所有子进程全部执行完
wait
echo "you have download all files"

# 全部结束后解绑文件描述符并删除管道
exec 4<&-
exec 4>&-
rm -f mylist

脚本写到这里已经做到控制子进程数量了。但仔细分析一下以上的代码其实已经可以实现生产者消费者模型了，为什么不直接使用管道在进程间传递数据呢？把所有下载链接全部写入到管道，然后开启指定个数的子进程，每个子进程内部都不断从管道中读取数据，直到管道为空读取不到数据了再关闭子进程，原理如下：

根据以上原理，脚本改进如下：

版本 4 （生产者消费者模型）

#!/bin/bash

# 创建一个管道
mkfifo mylist
# 给管道绑定文件描述符4
exec 4<>mylist

# 开启5个子进程
for ((i=0; i < 5; i++)); do
    # 这里的 & 会开启一个子进程执行
    {
        # 子进程内部不断从管道中读取数据，每读取到一行就开始下载
        # read -t 1 指定超时时间（如果单条数据特别大需要调长超时时间），如果1s后还没有获取到数据则非0退出
        while read -t 1 url <mylist; do
            echo "download: ${url}"
            wget ${url}
        done
    } &
done
# 将img.txt中的链接全部插入到管道中
for url in $(cat img.txt); do
    echo ${url} >mylist
done
# 使用 wait 命令阻塞当前进程，直到所有子进程全部执行完
wait
echo "you have download all files"

# 全部结束后解绑文件描述符并删除管道
exec 4<&-
exec 4>&-
rm -f mylist

这里要注意的是必须先开启子进程，然后再将数据写入到管道。因为管道是有长度的，如果先将数据写入到管道，再开启子进程，如果数据量很大超过了管道长度，那么主进程会被一直阻塞，根本执行不到后面开启子进程。如果先开启子进程，再向管道文件中写入数据，数据一写入管道马上就被子进程读取消费，不会出现主进程被阻塞执行不了的问题。但是实际测试发现有线程安全问题，多个子进程从同一个管道中读取数据时，可能会读取到同一份数据。解决该问题必须在子进程读取管道时加锁。可以通过再引入一个管道实现加锁解锁，最终脚本如下：

版本5 （解决线程安全问题）

#!/bin/bash

# 创建一个管道
mkfifo mylist
# 给管道绑定文件描述符4
exec 4<>mylist
# 再创建一个管道（锁文件），用于解决线程安全问题
mkfifo mylock
# 绑定文件描述符5
exec 5<>mylock

# 事先向锁文件中插入1条数据（解锁）
echo >mylock

# 开启5个子进程
for ((i=0; i < 5; i++)); do
    # 这里的 & 会开启一个子进程执行
    {
        # 先读取锁文件（加锁），由于锁文件中只有1条数据，读取完之后锁文件空了其他子进程再读取时只能等待
        while read -t 1 < mylock && read -t 1 url <mylist; do
            # 读取到业务数据后立即写入1条数据到锁文件（解锁），让其他子进程继续读取数据
            # 这个其实有个bug，如果单条业务数据特别大，导致读取业务数据超时，进程退出
            # 那么锁文件会一直为空处于加锁状态，其他进程也会因为获取不到锁而退出，导致任务执行不全
            echo >mylock

            echo "download: ${url}"
            wget ${url}
        done
    } &
done
# 将img.txt中的链接全部插入到管道中
for url in $(cat img.txt); do
    echo ${url} >mylist
done
# 使用 wait 命令阻塞当前进程，直到所有子进程全部执行完
wait
echo "you have download all files"

# 全部结束后解绑文件描述符并删除管道
exec 4<&-
exec 4>&-
rm -f mylist
exec 5<&-
exec 5>&-
rm -f mylock

综上所述：还是推荐使用版本3，逻辑更简单且不会出错
完结，如果有更好的想法欢迎留言讨论