三种任务分配方案

比如一个job需要处理N个tasks,每个tasks之间完全独立。通常我们会考虑使用多进程或者多线程并行处理来加快处理速度。而在coding过程中,可以有三种方式来处理,由浅入深。

1. 主进程实现把每个进程需要处理的任务分配好,比如有8个并行处理的任务,每个进程处理的tasks数量为N/8。 该方式比较简单,但是如果每个task处理的时间差异较大的话,会有load unbalance的问题;另一个不利支持是如果收集或分配tasks的时间比较长的话,所有worker进程都会等待分配结束后才能工作。

2. 使用一个线程安全的队列,主线程收集tasks,每收集到一个就放一个进入队列,所有的worker线程都从队列中取task。该方案还需要注意的地方是,如果任务量很大,但处理速度比较慢的话,需要控制往队列中写入数据的速度,避免把内存撑爆。

3. 使用进程或线程间的通信。比如一个线程准备好处理数据了,它会发一个READY信号给主线程,主线程收到该信号后便分配一个任务给该线程。使用socket可以避免加锁,代码中不存在竞争关系。

你可能感兴趣的:(架构,并行处理,线程)