并发&&并行
如果某个系统支持两个或者多个动作（Action）同时存在，那么这个系统就是一个并发系统。如果某个系统支持两个或者多个动作同时执行，那么这个系统就是一个并行系统。并发系统与并行系统这两个定义之间的关键差异在于“存在”这个词。
在并发程序中可以同时拥有两个或者多个线程。这意味着，如果程序在单核处理器上运行，那么这两个线程将交替地换入或者换出内存。这些线程是同时“存在”的——每个线程都处于执行过程中的某个状态。如果程序能够并行执行，那么就一定是运行在多核处理器上。此时，程序中的每个线程都将分配到一个独立的处理器核上，因此可以同时运行。
并发 Concurrency
并发的实质是一个物理CPU(也可以多个物理CPU) 在若干道程序（或线程）之间多路复用，并发性是对有限物理资源强制行使多用户共享以提高效率。
大部分操作系统(如Windows、Linux)的任务调度是采用时间片轮转的抢占式调度方式，也就是说一个任务执行一小段时间后强制暂停去执行下一个任务，每个任务轮流执行。任务执行的一小段时间叫做时间片，任务正在执行时的状态叫运行状态，任务执行一段时间后强制暂停去执行下一个任务，被暂停的任务就处于就绪状态等待下一个属于它的时间片的到来。这样每个任务都能得到执行，由于CPU的执行效率非常高，时间片非常短，在各个任务之间快速地切换，给人的感觉就是多个任务在“同时进行”，这也就是我们所说的并发(别觉得并发有多高深，它的实现很复杂，但它的概念很简单，就是一句话：多个任务同时执行。
并行 Parallelism
指两个或两个以上事件（或线程）在同一时刻发生，是真正意义上的不同事件或线程在同一时刻，在不同CPU资源呢上（多核），同时执行。并行，不存在像并发那样竞争，等待的概念。
并行计算&&并发编程
并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线任务，而空间上的并行则是指用多个处理器并发的执行计算。
并发编程，简单定义来看，如果执行单元的逻辑控制流在时间上重叠，那它们就是并发（Concurrent）的。并发编程复兴的主要驱动力来自于所谓的“多核危机”。正如摩尔定律所预言的那样，芯片性能仍在不断提高，但相比加快 CPU 的速度，计算机正在向多核化方向发展。正如 Herb Sutter 所说，“免费午餐的时代已然终结”。为了让代码运行得更快，单纯依靠更快的硬件已无法满足要求，并行和分布式计算是现代应用程序的主要内容，我们需要利用多个核心或多台机器来加速应用程序或大规模运行它们。
线程&&进程
线程是系统执行（调度）的最小单元，
进程是系统资源分配的最小单元。
进程：一个进程就是一个正在执行程序的实例；进程是某种类型的活动，它有程序、输入、输出以及状态严格说，某个瞬间，CPU只能运行一个进程，一个程序运行了两次，那么就算运行了两次进程，进程可以拥有多个线程
线程：线程是进程中的一个实体，作为系统调度和分派的基本单位。Linux下的线程看作轻量级进程。
线程进程比较
1、进程是操作系统资源分配的基本单位，所有与该进程有关的资源，均会被记录在进程控制块PCB中，以表示该进程所拥有的资源。同一进程下的所有线程共享该进程下的所有资源。
2、线程是分配处理机的基本单位，与系统资源分配无关。事实上，正在在处理机上运行的是线程，并非进程。
3、一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。
4、线程在执行的时候需要协作同步，不同进程的线程间要利用消息通信方法实现同步。
进程创建
创建进程：
UNIX：fork
父进程与子进程拥有相同的存储映像（image）
fork系统调用创建一个新（子）进程
fork之后，exec系统调用装入一个新程序
父进程与子进程只有pid不一样，其他资源都一样，父进程的pid>0，子进程的pid=0
fork后执行父进程还是子进程，取决于内核所使用的调度算法
#include
#include
#include
#include
int main(void)
{
pid_t pid=fork();
if(pid==0)
{
int j ;
for(j=0;j<10;j++)
{
printf("child: %d\n",j);
sleep(1);
}
}
else if (pid>0)
{
int i;
for(i=0;i<10;i++)
{
printf("parent: %d\n",i);
sleep(1);
}
}
else
{
fprintf(stderr,"can't fork ,error %d\n",errno);
exit(1);
}
printf("This is the end !");
}
多进程&&多线程
多进程
在同一个时间里，同一个计算机系统中如果允许两个或两个以上的进程处于运行状态，这便是多任务（多进程）。现代的操作系统几乎都是多进程操作系统，能够同时管理多个进程的运行。 多进程带来的好处是明显的。但是多进程对于系统的资源要求甚高，资源浪费也比较严重。应用多进程场景最多的是windows系统，例如同时打开运行软件，每个软件打开相当于运行一个进程。
多线程
在一段完整的代码中，往往会有需要独立的代码模块，而这些独立运行的程序片段叫作“线程”（Thread），利用多个线程编程的概念就叫作多线程处理(多线程编程)，多线程是为了同步完成多项任务，不是为了提高运行效率，而是为了提高资源使用效率来提高系统的效率。多线程是在程序在同一时间需要完成多项任务的时候实现的。多线程的目的仅仅是为了提高资源利用效率。各个线程执行自己的任务，这些线程可以”同时进行“。同时进行并非同一时刻进行，而是在某一时间段内，完成所有任务，任务的运行有先后顺序。
多核&&多CPU
早期的分布式计算、集群技术尚未成熟普及，单个CPU的性能对于普通用户来书通常是够用的。但对于服务器来说，则是永远都嫌不够的。因此在服务器市场，一直有多路CPU配置的存在。
单核多CPU
也就是每一个CPU都需要有较为独立的电路支持，有自己的Cache，而他们之间通过板上的总线进行通信。假如在这样的架构上，我们要跑一个多线程的程序（常见典型情况），不考虑超线程，那么每一个线程就要跑在一个独立的CPU上，线程间的所有协作都要走总线，而共享的数据更是有可能要在好几个Cache里同时存在。
多核单CPU
只需要一套芯片组，一套存储，多核之间通过芯片内部总线进行通信，共享使用内存。在这样的架构上，如果我们跑一个多线程的程序，那么线程间通信将比上一种情形更快。如果最终实现出来，对板上空间的占用较小，布局布线的压力也较小。另一方面多核是指在一个处理器上集成多个个运算核心，从而提高计算能力。
分布式计算
所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最 后把这些计算结果综合起来得到最终的结果。
分布式计算是利用互联网上的计算机的中央处理器的闲置处理能力来解决大型计算问题的一种计算科学。
这些项目都很庞大，需要惊人的计算量，仅仅由单个的电脑或是个人在一个能让人接受的时间内计算完成是决不可能的。 这类问题一般是跨学科的、极富挑战性的、人类急待解决的科研课题。
其中较为著名的是:（中国分布式计算总站查看https://equn.com/wiki/%E9%A6%96%E9%A1%B5）
1. 解决较为复杂的数学问题，例如：GIMPS（寻找最大的梅森素数）。
2. 研究寻找最为安全的密码系统，例如：RC-72（密码破解）。
3. 生物病理研究，例如：Folding@home（研究蛋白质折叠，误解，聚合及由此引起的相关疾病）。
4. 各种各样疾病的药物研究，例如：United Devices（寻找对抗癌症的有效的药物）。5. 信号处理，例如：SETI@Home（在家寻找地外文明）。