【Golang】CSP并发模型与MPG调度模型

欢迎关注微信公众号：全栈工厂

Go语言的高并发性能一直是大家最关注的点，Go语言把原本复杂的并发编程通过协程的方式更方便的提供给开发人员，让其在云时代背景下有了得天独厚的优势，我们可以通过GO语言的并发模型和调度模型来尝试窥探其高并发性能背后的逻辑。

1 CSP并发模型

CSP是上个世纪七十年代提出的一种强大的并发编程模型，它的全称是 Communicating Sequential Process 即:通信顺序进程，它的核心观点是：

Do not communicate by sharing memory; instead, share memory by communicating

即:

 不要以共享内存的方式来通信，而是要通过通信来共享内存

普通并发模型

普通的线程并发模型(例如Java、C++等)，他们线程间通信都是通过共享内存的方式来进行的；非常典型的方式就是，构建一个全局共享数据(变量)，通过加锁机制来保证共享数据在并发环境下的线程安全，从而实现并发线程间的通信。

CSP并发模型(Go)

Go语言既提供了传统的线程并发模型编程方式，也提供了CSP并发模型的实现，在CSP并发模型中，每一个并发实体(Process)只需要关注消息发送的对象(Channel)，而不用关注另一个并发实体，这使得并发实体间实现了完全解耦，这两个并发原语之间没有从属关系， Process 可以订阅任意个 Channel，Channel 也并不关心是哪个 Process 在利用它进行通信；Process 围绕 Channel 进行读写，形成一套有序阻塞和可预测的并发模型。

2 MPG调度模型

操作系统对线程的并发调度直接决定了能否对硬件资源进行合理充分的利用，操作系统根据资源访问权限的不同，把内存分为内核空间和用户空间，内核空间的指令代码具备直接调度计算机底层资源的能力(例如: CPU、I/O 资源等)；用户空间的代码没有访问计算底层资源的能力，需要通过系统调用等方式切换为内核态来实现对计算机底层资源的申请和调度。线程作为操作系统能够调度的最小单位，也分为内核级线程和用户级线程：

• 内核级线程由操作系统内核创建和撤销。内核维护进程及线程的上下文信息以及线程切换。一个内核线程由于I/O操作而阻塞，不会影响其它线程的运行。它能够很好利用多核 CPU 并行计算的优势，开发人员可以通过系统调用使用内核线程。
• 用户级线程不需要内核支持而在用户程序中实现的线程，其不依赖于操作系统核心，应用进程利用线程库提供创建、同步、调度和管理线程的函数来控制用户线程。不需要用户态/核心态切换，速度快，操作系统内核不知道多线程的存在，因此一个线程阻塞将使得整个进程（包括它的所有线程）阻塞。由于这里的处理器时间片分配是以进程为基本单位，所以每个线程执行的时间相对减少。我们一般情况下说的线程其实是指用户级线程。

2.1 用户级线程调度模型

用户级线程调度模型

用户级线程调度模型中是一个进程对应一个内核线程，进程内的可以创建多个用户级线程，由于用户级线程的创建、切换和同步等工作由用户代码完成，所以对用户级线程的使用非常轻量和高效，但是这些复杂的管理逻辑需要在用户代码中实现，一般依赖于编程语言层次。同时进程内的多用户级线程无法很好利用 CPU 多核进程的优势，只能通过分时复用的方式轮换执行。当进程内的任意用户线程阻塞，很可能导致整个进程的阻塞。

2.2 内核级线程调度模型

内核级线程调度模型

内核级线程模型中，进程中的每个线程都会对应一个内核线程，进程内每创建一个新的线程都会调用操作系统的线程库在内核创建一个新的内核线程与对应，线程的管理和调度有操作系统负责，这将导致每次线程切换上下文时都会从用户态切换到内核态，会有不小的资源消耗，同时创建线程的数量也会受制于操作系统内核创建可创建的内核线程数量。好处是多线程能够充分利用 CPU 的多核并行计算能力，因为每个线程可以独立被操作系统调度分配到 CPU 上执行指令，同时某个线程的阻塞并不会影响到进程内其他线程工作的执行。

2.3 两级线程调度模型

两级线程调度模型

两级线程调度模型相当于用户级线程调度模型和内核级线程调度模型的结合，一个进程将会对应多个内核级线程，由进程内的调度器决定进程内的用户级线程如何与申请的内核级线程对应，进程会预先申请一定数量的内核级线程，然后将自身创建的用户级线程与内核级线程进行对应。线程的调用和管理由进程内的调度器进行，而内核线程的调度和管理由操作系统负责。这种线程调度模型即能够有效降低线程创建和管理的资源消耗，也能够很好提供线程并行计算的能力，但是给开发人员带来较大的实现难度。

2.4 MPG调度模型

MPG调度模型

Go语言的MPG调度模型对两级线程调度模型进行一定程度的改进，使它能够更加灵活地进行线程之间的调度，其中：
M（Machine）：一个M直接关联了一个内核级线程；
P（Processor）：代表了M所需的上下文环境，是处理用户级代码逻辑的处理器；
G（Goroutine）：本质上是一种轻量级的线程。
注：P的个数是通过runtime.GOMAXPROCS设定的，从Go 1.5开始， Go的GOMAXPROCS默认值已经设置为CPU的核数，这允许我们的Go程序充分使用机器的每一个CPU，最大程度的提高我们程序的并发性能，但其实对于IO密集型的场景，我们可以把GOMAXPROCS的值超过CPU核数。

调度流程：

1. 当一个Goroutine创建被创建时，Goroutine对象被压入Processor的本地队列或者Go运行时全局Goroutine队列；
2. Processor唤醒一个Machine，如果Machine的waiting队列没有等待被唤醒的Machine， 则创建一个(只要不超过Machine的最大值，10000)，Processor获取到Machine后，与此Machine绑定，并执行此Goroutine；
3. Machine执行过程中，如果发生上下文切换，需要对执行现场进行保护，以便下次被调度执行时进行现场恢复。Go调度器中Machine的栈保存在Goroutine对象上，只需要将Machine所需要的寄存器(堆栈指针、程序计数器等)保存到Goroutine对象上 即可；如果此时Goroutine任务还没有执行完，Machine可以将Goroutine重新压入Processor的队列，等待下一次被调度执行。如果执行过程遇到阻塞并阻塞超时，Machine会与Processor分离，并等待阻塞结束。此时 Processor可以继续唤醒Machine执行其它的Goroutine，当阻塞结束时，Machine会尝试” 偷取”一个Processor，如果失败，这个Goroutine会被加入到全局队列中，然后Machine将 自己转入Waiting队列，等待被再次唤醒。

3 总结

1. Go语言以CSP并发模型为并发基础，使用非常轻量的协程(Goroutine)做为并发实体，对协程(Goroutine)的调度是在用户态下完成的， 不涉及内核态与用户态之间的频繁切换；
2. 协程(Goroutine)间通过管道(Channel)实现高效通信，实现了并发实体间的解耦；
3. Go在语言层面实现了自动调度，这样屏蔽了很多内部细节，对外提供简单的语法关键字，大大简化了并发编程的思维转换和管理线程的复杂性。