Python 线程池的原理和实现及subprocess模块

最近由于项目需要一个与linux shell交互的多线程程序,需要用python实现,之前从没接触过python,这次匆匆忙忙的使用python,发现python确实语法非常简单,功能非常强大,因为自己是从零开始使用python,连语法都是现学的,所以将一些使用记录下来,希望能帮到大家。

使用python的需求简单的说是调用liunux下的ffmpeg获取音频的一些信息,需要用多线程实现

一、subprocess

因为是多线程,首先想到的是subprocess模块(官方文档说明此模块将会代替os模块和Popen2模块和command模块),这是python提供的开启子线程的标准库。可以通过pipe将子线程的stdin、stdout和stderr与主线程交互。

subprocess.call(["ls", "-l"])



subprocess.check_call(["ls", "-l"])

 

这是两个非常简单的例子,主线程都会等待子线程命令的完成,然后获取返回值,两个方法的唯一区别就是check_call会检查返回值,如果返回值不为0(即正确执行),则会抛出CalledProcessError异常。

 

Popen

那么我用的是Popen方法,实际上subprocess模块中其它的方法都是对Popen的封装,为了更方便的使用,如果我们自己需要定制某些功能,最后还是会回到Popen。

Popen具体的参数使用可以参考Python document

Popen接受元组为参数

child = subprocess.Popen(["ping","-c","5","www.google.com"])

 

与上述方法不同的是,使用Popen,主线程不会等待子线程完成,如果要等待,需要使用wait()方法。

先上我使用的代码:

command = ["ffmpeg","-i",songPath];



stdoutData,stderrData = subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE).communicate();

 

    上面也提到了,使用Popen可以自定义标准输入、标准输出和标准错误输出。

那么在这行代码中,我定义了stdoutData和stderrData分别接受命令行程序的标准输出和标准错误输出(即stdout=subprocess.PIPE,stderr=subprocess.PIPE),都是通过管道(Pipe)实现。大家要注意,如果我们要在接下来的主线程中使用Popen方法执行命令行程序后的输出数据,如print(stdoutData),那么记住使用Popen.wait(),因为主线程不会等待Popen执行完成。为什么我这里没有用呢?因为我这里使用了communicate方法,communicate方法代表子线程与主线程之间的通信,是阻塞式的,如果使用了communicate方法,主线程会等待子线程的完成

    其实从另一个层面上来说,也是linux标准输入输出的管道重定向,只不过是把标准输入输出重定向到程序而已。

    按照这种方法,我就用ffmpeg获取到了音频的输出。

 

那么问题来了,说好的多线程呢?因为communicate方法是阻塞式的,并不能开启多线程。所以在思考过后,我决定用在主线程中开启多个子线程,分别调用subprocess模块去获取音频的信息。既然都是用到了多线程,考虑到效率问题,自然联想到了线程池。

 

二、线程池

    为什么需要线程池呢?

        设想一下,如果我们使用有任务就开启一个子线程处理,处理完成后,销毁子线程或等得子线程自然死亡,那么如果我们的任务所需时间比较短,但是任务数量比较多,那么更多的时间是花在线程的创建和结束上面,效率肯定就低了。

 

    线程池的原理:

        既然是线程池(Thread pool),其实名字很形象,就是把指定数量的可用子线程放进一个"池里",有任务时取出一个线程执行,任务执行完后,并不立即销毁线程,而是放进线程池中,等待接收下一个任务。这样内存和cpu的开销也比较小,并且我们可以控制线程的数量。

 

    线程池的实现:

        线程池有很多种实现方式,在python中,已经给我们提供了一个很好的实现方式:Queue-队列。因为python中Queue本身就是同步的,所以也就是线程安全的,所以我们可以放心的让多个线程共享一个Queue。

        那么说到线程池,那么理应也得有一个任务池,任务池中存放着待执行的任务,各个线程到任务池中取任务执行,那么用Queue来实现任务池是最好不过的。

 

先上代码:

class TaskManager():



    def __init__(self,maxTasks,maxThreads):

        #最大任务书,也就是Queue的容量

        self._maxTasks = maxTasks;

        #线程池中线程数量    

        self._maxThreads = maxThreads;

        #业务代码

        ….

        ….



        #任务池

        self._taskQueue = Queue.Queue(maxTasks);

        #线程池,使用列表实现

        self._threads = [];



        #在__init__中调用方法

        self.initThreads();

        self.initTaskQueue();



    #初始化任务池

    def initTaskQueue(self):

        while True:

        #业务代码

            if not self._taskQueue.full():

                getTasks(self._maxTasks - self._taskQueue.qsize());

                for task in taskMap["tasks"]:

                self._taskQueue.put(task);

                time.sleep(1);



    #初始化线程池

    def initThreads(self):

        for i in range(self._maxThreads):

        #调用每个线程执行的具体任务

        self._threads.append(Work(self,self._reportUrl));



    def getTask(self):

        return self._taskQueue.get();



#具体执行的任务

class Work(threading.Thread):

    def __init__(self,taskmgr):

    threading.Thread.__init__(self);

    self._logger = logging.getLogger("");

    self.start();



    def run(self):

        while True:

            try:

                #取出任务并执行相关操作

                self._taskmgr.getTask();

                ……

                ……



                time.sleep(1);

            except Exception,e:

                self._logger.exception(e);            

 

 

线程池的实现主要分两部分,一部分是TaskMagager,即任务管理类,用来调度任务,一部分是Work,即具体需要执行的业务代码。线程池的这种设计模式在很多地方都可以借鉴

 

TaskManager

    先来看TaskManager,主要包含四个方法,一个构造方法,接受传进来的参数,执行任务池和线程池的大小等初始化信息,然后调用initTaskQueue和initThread方法初始化任务池和线程池。

    最后一个方法getTask返回TaskManager类的一个实例。

 

Work

    执行具体的业务

 

过程分析

  1. TaskManager的__init__方法初始化线程池和任务池
  2. initTaskQueue方法,初始化任务池,将任务填充到任务队列。
  3. initThreads方法,初始化线程池,调用Work类执行任务。
  4. getTask方法,返回TaskManager实例,主要作用是传给Work类,让子线程从任务队列中取出任务执行。
  5. Work类的__init__方法初始化线程,并启动线程。
  6. Run方法,执行任务,并且从任务队列中取出任务。

 

关键点:

  1. 在主线程,也即TaskManager的initTaskQueue方法中获取任务并填充任务池
  2. 在各个子线程中,也即Work类的run方法中获取任务池中的任务并执行。

    这里需要注意的是,前面提到过,Python中的Queue是线程安全的,Queue的get方法是阻塞式,也即,如果Queue为空,子线程取不到任务,会进行等待,直到Queue中有任务可取

    三、在TaskManager的__init__方法中,最好先启动线程,在启动任务池

self.initThreads();



self.initTaskQueue();

     

否则在initTaskQueue(主线程)中的while循环会一直执行,将会阻塞线程池的执行。在第二点中说明过,先启动线程池,就算任务池没有任务,子线程也会阻塞等待任务池中出现新任务。

 

就写到这里,如果错误,请大家指正:)

你可能感兴趣的:(process)