并发计算 VS 并行计算

关于CUDA并行计算的所有博客，我已迁移至segmentfault社区-CUDA编程专栏，这里是本文的链接:https://segmentfault.com/a/1190000008186637。

写在前面

上一篇文章中，我们学习了如何在CUDA中隐藏数据传输，而其中用到的主要技术就是并发计算。这时你可能会问，这个专栏不是CUDA并行计算吗？怎么又说什么并发计算呢？其实，这里所说的“CUDA并行计算”并不是纯粹的并行计算，而是并行计算与并发计算相结合的一种技术。那么这两者的区别又是什么呢？我觉得是时候讲一下两者的区别与联系了，否则会对之后的学习产生误导。

区别

我在网上看到很多讲并发计算与并行计算区别的文章，感觉很多讲得不是很抽象就是不全面，因此我决定自己好好总结一下。闲话少说，先看一张图。

仔细看一下这张图，先有个大概印象再继续往下读。

loading … …

看完上面的图之后，这是我总结的几点：

• 并发计算可以基于单处理器或者多处理器，基于单处理器时多个任务分时执行，轮流使用处理器；并行计算必须基于多处理器，多个任务同时使用多个处理器
• 并发计算可以同时执行多个不同的任务；并行计算一般是同时执行多个相同的任务

NOTE:为了更好地比较并行与并发计算，我加入了串行计算。

• 从专注程度上来看，三者的排名如下：

串行计算->并行计算->并发计算

串行计算最老实也最死板，任何时候只做一件事，雷打不动，这件完成才能做下一件事；并行计算相比就没有那么专注了，它可以同时做多个相同的事情；并发计算就更没有那么专注了，它可以同时做多个不同的事情。

联系

并行计算与并发计算关系密切。我们在操作系统课程中所学到的并发大多是基于单处理器的，进程交替执行，表现出一种同时执行的外部特征。这种并发计算无法实现真正的加速效果。

并行计算(纯粹的)通常是将一个较大的问题分为较小的多个子问题，然后同时处理这些子问题，类似于算法中的分治法。这种执行方式虽然可以获得较好的加速效果，但是还可以获得更好的加速效果。

在基于多核的计算中，常常将并发计算与并行计算相结合，这样可以获得比并行计算更好的加速效果。在专栏的上一篇文章中，我们应用的就是这个技术。

总结

这篇文章主要介绍了并行计算与并发计算的区别与联系。如果要深入地学习并发计算，可以参考操作系统的相关书籍，比如比较经典的《操作系统精髓与设计原理》。在掌握了二者的区别与联系之后，我们会继续学习CUDA并行计算。

参考资料

1. 维基百科-Concurrent_computing
2. 维基百科-Parallel_computing
3. 操作系统精髓与设计原理 第六版, [美]William Stallings, 机械工业出版社