Java多线程深入原理解析

目录

一、并发编程遇到的几类问题

1.上下文切换

2.死锁

3.资源限制

二、Java并发底层实现原理

1.volatile关键字

1.1 定义

1.2 对实现数据一致性的解释

2.volatile的使用优化

2.1 追加字节为64字节方法

2.2 追加64字节方法缺点

3.synchronized实现原理及应用

3.1 synchronized作用域

3.2 synchronized实现原理

3.3 原子操作的实现原理

3.4 Java实现原子操作

附录

一、并发编程遇到的几类问题

1.上下文切换

CPU 通过时间片分配算法来循环执行任务，当前任务执行一个时间片后会切换到下一个任务。但是，在切换前会保存上一个任务的状态，以便下次切换回这个任务时，可以再加载这个任务的状态。所以任务从保存到再加载的过程就是一次上下文切换。

减少上下文切换措施：

1. 无锁并发编程：多线程竞争锁时，会引起上下文切换，所以多线程处理数据时，可以用一些办法来避免使用锁，如将数据的I D按照Hash 算法取模分段，不同的线程处理不同段的数据；
2. CAS算法：Java的At om ic包使用CAS算法来更新数据，而不需要加锁；
3. 使用最少线程：避免创建不需要的线程，比如任务很少，但是创建了很多线程来处理，这样会造成大量线程都处于等待状态，具体表现为如果量少不如改成单线程执行或使用线程池常驻线程来执行，不必创建非常多的线程；
4. 协程：在单线程里实现多任务的调度，并在单线程里维持多个任务间的切换。

2.死锁

锁是个非常有用的工具，运用场景非常多，因为它使用起来非常简单，而且易于理解。但同时它也会带来一些困扰，那就是可能会引起死锁，一旦产生死锁，就会造成系统功能不可用。

避免死锁的常见方法：

1. 避免一个线程同时获取多个锁；
2. 避免一个线程在锁内同时占用多个资源，尽量保证每个锁只占用一个资源；
3. 尝试使用定时锁，使用lock.tryLock(time out)来替代使用内部锁机制；
4. 对于数据库锁，加锁和解锁必须在一个数据库连接里，否则会出现解锁失败的情况。

3.资源限制

定义：资源限制是指在进行并发编程时，程序的执行速度受限于计算机硬件资源或软件资源。

开发问题：在并发编程中，将代码执行速度加快的原则是将代码中串行执行的部分变成并发执行，但是如果将某段串行的代码并发执行，因为受限于资源，仍然在串行执行，这时候程序不仅不会加快执行，反而会更慢，因为增加了上下文切换和资源调度的时间。

解决方案：

1. 考虑使用集群并行执行程序；
2. 根据不同的资源限制调整程序的并发度，例如下载依赖于带宽和硬盘读写速度，因此最多不能超过两个，线程再多就没有用的地方，不仅会阻塞，还会频繁造成上下文切换，得不偿失。.

二、Java并发底层实现原理

1.volatile关键字

volatile可以堪称是轻量级的synchronized，它在多处理器开发中保证了共享变量的“可见性”。可见性的意思是当一个线程修改一个共享变量时，另外一个线程能读到这个修改的值。

1.1 定义

Java编程语言允许线程访问共享变量，为了确保共享变量能被准确和一致地更新，线程应该确保通过排他锁单独获得这个变量。也就是说在Java的内存模型中如果某个变量被volatile关键字修饰，那么所有线程看到的这个变量就会是一致的。

当一个对象被volatile关键字修饰，且对象被实例化时，转变成汇编语言会存在一个Lock前缀指令，Lock前缀指令在多核处理器会引发两件事情：

1. 将当前处理器缓存行的数据写回到系统内存；
2. 这个写回内存的操作会使在其他CPU 里缓存了该内存地址的数据无效。

1.2 对实现数据一致性的解释

在处理器层面，为了提高处理速度，处理器不直接和内存进行通信，而是先将系统内存的数据读到内部缓存（L1，L2或其他）后再进行操作，但操作完不知道何时会写到内存。当对volatile变量进行写操作时，JVM将会发送Lock指令，将这个变量所在的缓存行数据写回到内存中，但其它处理器缓存的内存地址还是原来的，因此为了保证各个处理器的缓存是一致的，就会实现缓存一致性协议，每个处理器通过嗅探技术嗅探在总线上传播的数据来检查自己缓存的值是不是过期了，当处理器发现自己缓存行对应的内存地址被修改，就会将当前处理器的缓存行设置成无效状态，当处理器对这个数据进行修改操作的时候，会重新从系统内存中把数据读到处理器缓存里。这样便实现了一个处理器修改某变量其它处理器都能收到最新数据的效果。

2.volatile的使用优化

2.1 追加字节为64字节方法

对于英特尔酷睿i7、酷睿、Atom和NetBurst ，以及Core Solo和PentiumM处理器的L1、L2或L3缓存的高速缓存行是64个字节宽，不支持部分填充缓存行，这意味着，如果队列的头节点和尾节点都不足64字节的话，处理器会将它们都读到同一个高速缓存行中，在多处理器下每个处理器都会缓存同样的头、尾节点，当一个处理器试图修改头节点时，会将整个缓存行锁定，那么在缓存一致性机制的作用下，会导致其他处理器不能访问自己高速缓存中的尾节点，而队列的入队和出队操作则需要不停修改头节点和尾节点，所以在多处理器的情况下将会严重影响到队列的入队和出队效率。

效果图如下：

 

著名的Java并发编程大师Doug lea使用追加到64字节的方式来填满高速缓冲区的缓存行，避免头节点和尾节点加载到同一个缓存行，使头、尾节点在修改时不会互相锁定。即让所有的操作都变成操作数d的样子，始终只占用一个缓冲行。从底层减少互相锁定的情况发生。

2.2 追加64字节方法缺点

缓存行非64字节宽的处理器：如P6系列和奔腾处理器，它们的L1和L2高速缓存行是32个字节宽。如果依旧采取追加字节的方法，会导致每个操作数都会占用两行。

共享变量不会被频繁地写：因为使用追加字节的方式需要处理器读取更多的字节到高速缓冲区，这本身就会带来一定的性能消耗，如果共享变量不被频繁写的话，锁的几率也非常小，就没必要通过追加字节的方式来避免相互锁定。

3.synchronized实现原理及应用

synchronize在Java中可以说是元老级的角色了，很多时候对它我们还停留在重量级锁的印象，但经过JDK1.6的优化后，为了减少获得锁和释放锁带来的性能消耗而引入的偏向锁和轻量级锁，以及锁的存储结构和升级过程。如下图所示：

3.1 synchronized作用域

synchronized是Java中的关键字，是一种同步锁。它修饰的对象有以下几种： 

①.修饰一个代码块

被修饰的代码块称为同步语句块，其作用的范围是大括号{}括起来的代码， 作用的对象是调用这个代码块的对象（对象锁）； 

public Object test() {
    synchronized(this) {
        // todo
    }
}

②.修饰一个方法

被修饰的方法称为同步方法，其作用的范围是整个方法，作用的对象是调用这个方法的对象（对象锁）； 

public synchronized Object test() {
    // todo
}

③.修饰一个静态的方法

其作用的范围是整个静态方法，作用的对象是这个类的所有对象（类锁）； 

public static synchronized Object test() {
    // todo
}

④.修饰一个类

其作用的范围是synchronized后面括号括起来的部分，作用主的对象是这个类的所有对象（类锁）。

public Object test() {
    synchronized(Test.class) {
        // todo
    }
}

3.2 synchronized实现原理

synchronized在JVM里的实现原理，JV M基于进入和退出Monitor对象来实现方法同步和代码块同步，但两者的实现细节不一样。代码块同步是使用monitorenter和monitorexit指令实现的，JVM要保证每个monitorenter必须有对应的monitorexit与之配对。

①.Java对象头

synchronized用的锁是存在Java对象头里的。如果对象是数组类型，则虚拟机用3个字宽(Word)存储对象头，如果对象是非数组类型，则用2字宽存储对象头。在32位虚拟机中，1字宽等于4字节，即32bit，如下表：

长度	内容	说明
32/64bit	Mark Word	存储对象的HashCode和锁信息等
32/64bit	Class Metadata Address	存储对象类型数据的指针
32/64bit	Array length	数据的长度（如果对象是数组）

32bit Java对象头的Mark Word存储结构如下表：

锁状态	25bit		4bit	1bit	2bit
	23bit	2bit		是否是偏向锁	锁标志位
无锁状态	对象的HashCode		对象分代年龄	0	01
轻量级锁	指向栈中锁记录的指针				00
重量级锁	指向互斥量（重量级锁）的指针				10
GC标记	空				11
偏向锁	线程ID	Epoch	对象分代年龄	1	01

64bit Java对象头的Mark Work存储结构如下表：

锁状态	25bit	31bit	1bit	4bit	1bit偏向锁	2bit锁标识位
无锁	unused	HashCode	cms_free	分代年龄	0	01
偏向锁	ThreadId（54bit）Epoch（2bit）		cms_free	分代年龄	1	01

②.锁的升级与对比

Java SE 1.6为了减少获得锁和释放锁带来的性能消耗，引入了“偏向锁”和“轻量级锁”，在Java SE1.6中，锁一共有4种状态，级别从低到高依次是：无锁状态、偏向锁状态、轻量级锁状态和重量级锁状态，这几个状态会随着竞争情况逐渐升级。锁可以升级但不能降级，意味着偏向锁升级成轻量级锁后不能降级成偏向锁。这种锁升级却不能降级的策略，目的是为了提高获得锁和释放锁的效率。接下来分别介绍几种锁的升级操作。

偏向锁：

大多数情况下，锁不仅不存在多线程竞争，而且总是由同一线程多次获得，为了让线程获得锁的代价更低而引入了偏向锁。当一个线程访问同步块并获取锁时，会在对象头和栈帧中的锁记录里存储锁偏向的线程ID，以后该线程在进入和退出同步块时不需要进行CAS操作来加锁和解锁，只需简单地测试一下对象头的Mark Word里是否存储着指向当前线程的偏向锁。如果测试成功，表示线程已经获得了锁。如果测试失败，则需要再测试一下Mark Word中偏向锁的标识是否设置成1（表示当前是偏向锁）：如果没有设置，则使用CAS竞争锁；如果设置了，则尝试使用CAS将对象头的偏向锁指向当前线程。

JVM启动时会进行一系列的复杂活动，比如装载配置，系统类初始化等等。在这个过程中会使用大量synchronized关键字对对象加锁，且这些锁大多数都不是偏向锁。为了减少初始化时间，偏向锁一般会在JVM初始化后的4-5秒内才会初始化，使用JVM参数-XX:BiasedLockingStartupDelay=0可以来取消延迟加载偏向锁。

偏向锁的撤销：偏向锁使用了一种等到竞争出现才释放锁的机制，所以当其他线程尝试竞争向锁时，持有偏向锁的线程才会释放锁。偏向锁的撤销，需要等待全局安全点（在这个时间点上没有正在执行的字节码）。它会首先暂停拥有偏向锁的线程，然后检查持有偏向锁的线程是否活着，如果线程不处于活动状态，则将对象头设置成无锁状态；如果线程仍然活着，拥有偏向锁的栈会被执行，遍历偏向对象的锁记录，栈中的锁记录和对象头的Mark Word要么重新偏向于其他线程，要么恢复到无锁或者标记对象不适合作为偏向锁，最后唤醒暂停的线程。下图为偏向锁的获得和撤销流程：

图片取自Java并发编程的艺术一书

轻量级锁：

轻量级锁加锁：线程在执行同步块之前，JVM会先在当前线程的栈桢中创建用于存储锁记录的空间，并将对象头中的Mark Word复制到锁记录中，官方称为Displaced Mark Word。然后线程尝试使用CAS将对象头中的Mark Word替换为指向锁记录的指针。如果成功，当前线程获得锁，如果失败，表示其他线程竞争锁，当前线程便尝试使用自旋来获取锁。

轻量级锁解锁：轻量级解锁时，会使用原子的CAS操作将Displaced Mark Word替换回到对象头，如果成功，则表示没有竞争发生。如果失败，表示当前锁存在竞争，锁就会膨胀成重量级锁。下图为两个线程争取锁导致膨胀为重量级锁流程图：

图片取自于Java编程的艺术一书

膨胀成重量级锁的原因：因为自旋会消耗CPU ，为了避免无用的自旋（比如获得锁的线程被阻塞住了），一旦锁升级成重量级锁，就不会再恢复到轻量级锁状态。当锁处于这个状态下，其他线程试图获取锁时，都会被阻塞住，当持有锁的线程释放锁之后会唤醒这些线程，被唤醒的线程就会进行新一轮的夺锁之争。

③.几种锁的的优缺点

如下表所示：

锁	优点	缺点	适用场景
偏向锁	加锁解锁不需要额外的消耗，和执行非同步方法相比只存在纳秒级别的差距	如果线程存在锁竞争，会带来额外的锁撤销消耗	适用于仅有一个线程访问同步块场景
轻量级锁	竞争的进程不会阻塞，提高了程序的响应速度	如果始终得不到锁的线程会一直自旋消耗CPU	追求响应速度，同步块执行速度非常快
重量级锁	线程竞争不会自旋，不会消耗CPU	线程阻塞，响应时间缓慢	追求吞吐量，同步块执行时间较长

3.3 原子操作的实现原理

处理器会自动保证基本的内存操作的原子性。处理器保证从系统内存中读取或者写入一个字节是原子的，意思是当一个处理器读取一个字节时，其他处理器不能访问这个字节的内存地址。除此之外，还有另外两种方式来保证原子性：

1. 使用总线锁保证原子性：所谓总线锁就是使用处理器提供的一个LOCK＃信号，当一个处理器在总线上输出此信号时，其他处理器的请求将被阻塞住，那么该处理器可以独占共享内存；
2. 使用缓存锁保证原子性：目前处理器在某些场合下使用缓存锁定代替总线锁定来进行优化。所谓“缓存锁定”是指内存区域如果被缓存在处理器的缓存行中，并且在L ock 操作期间被锁定，那么当它执行锁操作回写到内存时，处理器不在总线上声言LOCK＃信号，而是修改内部的内存地址，并允许它的缓存一致性机制来保证操作的原子性，因为缓存一致性机制会阻止同时修改由两个以上处理器缓存的内存区域数据，当其他处理器回写已被锁定的缓存行的数据时，会使缓存行无效。简而言之便是缓存锁定保证了只能同时存在一个处理器成功修改缓冲行对应的内存数据。

注：但是有两种情况下处理器不会使用缓存锁定：

1. 第一种情况是：当操作的数据不能被缓存在处理器内部，或操作的数据跨多个缓存行(cache line)时，则处理器会调用总线锁定；
2. 第二种情况是：有些处理器不支持缓存锁定。对于Intel 486和Pentium处理器，就算锁定的内存区域在处理器的缓存行中也会调用总线锁定。

针对以上两种情况，Intel处理器提供了很多Lock 前缀的指令来实现。例如，位测试和修改指令：BTS、BTR、BTC；交换指令XADD、CMPXCHG，以及其他一些操作数和逻辑指令（如ADD、OR）等，被这些指令操作的内存区域就会加锁，导致其他处理器不能同时访问它。

3.4 Java实现原子操作

在Java中可以通过锁和循环CAS的方式来实现原子操作。

①.使用循环CAS实现原子操作

JV M中的CAS操作正是利用了处理器提供的CMPXCHG指令实现的。自旋CAS实现的基本思路就是循环进行CAS操作直到成功为止。JDK并发包提供的AtomicXXX很多类都完成了原子性操作的方法，这些类可以安全使用。

②.CAS实现原子操作的三大问题

ABA问题：因为CAS需要在操作值的时候，检查值有没有发生变化，如果没有发生变化则更新，但是如果一个值原来是A，变成了B，又变成了A，那么使用CAS进行检查时会发现它的值没有发生变化，但是实际上却变化了。

解决思路：ABA问题的解决思路就是使用版本号。在变量前面追加上版本号，每次变量更新的时候把版本号加1，那么A→B→A就会变成1A→2B→3A。JDK也提供了AtomicStampedReference类来解决ABA问题。

循环时间长开销大：自旋CAS如果长时间不成功，会给CPU 带来非常大的执行开销。

解决思路：如果JVM能支持处理器提供的pause指令，那么效率会有一定的提升。pause指令有两个作用：第一，它可以延迟流水线执行指令（de-pipeline），使CPU不会消耗过多的执行资源，延迟的时间取决于具体实现的版本，在一些处理器上延迟时间是零；第二，它可以避免在退出循环的时候因内存顺序冲突（Memory Order Violation ）而引起CPU 流水线被清空（CPU Pipeline Flush ），从而提高CPU 的执行效率。

只能保证一个共享变量的原子操作：当对一个共享变量执行操作时，我们可以使用循环CAS的方式来保证原子操作，但是对多个共享变量操作时，循环CAS就无法保证操作的原子性。

解决思路：使用锁；把多个共享变量合并成一个共享变量来操作。比如，有两个共享变量i＝2，j=a，合并一下ij=2a，然后用CAS来操作ij；JDK也提供了AtomicReference类来保证引用对象之间的原子性，就可以把多个变量放在一个对象里来进行CAS操作。

③.使用锁机制实现原子操作

锁机制保证了只有获得锁的线程才能够操作锁定的内存区域。JVM内部实现了很多种锁机制，有偏向锁、轻量级锁和互斥锁。有意思的是除了偏向锁，JVM实现锁的方式都用了循环CAS，即当一个线程想进入同步块的时候使用循环CAS的方式来获取锁，当它退出同步块的时候使用循环CAS释放锁。

附录

文中提到的关键词表

术语	英文单词	术语描述
内存屏障	memory barriers	一组处理器指令，用于实现堆内存操作的顺序限制
缓冲行	cache line	缓存中可以分配的最小单位。处理器填写缓冲行时会加载整个缓冲行，需要使用多个主内存周期
原子操作	atomic operations	不可中断的一个或一系列操作
缓冲行填充	cache line fill	当处理器识别到从内存中读取操作数是可缓存的，处理器读取整个缓冲行到适当的缓存（L1,L2,L3或所有）
缓存命中	cache hit	如果高速缓冲行填充操作的内存位置是下次处理器访问的地址，处理器从缓冲中读取操作数，而不是从内存中获取
写命中	write hit	当处理器将操作数写回到内存缓冲的区域时，会检查需要缓存的内存地址是否在缓冲行中，如果存在有效的缓冲行，则将这个操作数写到缓存，而不是内存
写缺失	write misses the cache	一个有效的缓冲行被写入到不存在的内存区域
比较并交换	Compare and Swap	CAS操作需要两个值，一个旧值，一个期望值，在操作期间判断旧值有没有发生变化，没有发生变化设置为新值，发生了变化则不交换
CPU流水线	CPU pipeline	CPU流水线的工作方式就像工业上的装配流水线，将5-6个功能不同电路单元组成一指令处理流水线，将一条指令分成5-6部分给流水线分别执行，这样CPU就能在一个CPU时钟周期内完成一条指令，提高运算速度
内存顺序冲突	Memory order violation	一般是由假共享引起的，假共享指的是多个CPU同时修改同一个缓冲行的不同部分而引起某个CPU进行无效操作，出现这种情况必须得清空CPU流水线

---

本文章总结于方腾飞 - 《Java并发编程的艺术》一书。