Memory Barrier in Compiler and CPU
Memory barrier, is a type of barrier and a class of instruction which causes a CPU or compiler to enforce an ordering constraint on memory operations issued before and after the barrier instruction.
之所以需要Memory barrier就是因为CPU Out-of-order execution 和 compiler reordering optimizations。
Compiler memory barrier
These barriers prevent a compiler from reordering instructions, they do not prevent reordering by CPU.
The GNU inline assembler statement
asm volatile("" ::: "memory");
or even
__asm__ __volatile__ ("" ::: "memory");
forbids GCC compiler to reorder read and write commands around it.
Intel ECC compiler uses "full compiler fence"
__memory_barrier()
intrinsics.
Microsoft Visual C++ Compiler:[8]
_ReadWriteBarrier()
Hardware memory barrier
Many architectures with SMP support have special hardware instruction for flushing reads and writes.
x86, x86-64
lfence (asm), void_mm_lfence(void)
sfence (asm), void_mm_sfence(void) [9]
mfence (asm), void_mm_mfence(void) [10]
ARMv7
dmb (asm)
对硬件memory barrier的更多理解
- 只有一个主体(CPU或DMA控制器)访问内存时，无论如何也不需要barrier；但如果有两个或更多主体访问内存，且其中有一个在观测另一个，就需要barrier了。
- IA32 CPU调用有lock前缀的指令，或者如xchg这样的指令，会导致其它的CPU也触发一定的动作来同步自己的Cache。CPU的#lock引脚链接到北桥芯片(North Bridge)的#lock引脚，当带lock前缀的执行执行时，北桥芯片会拉起#lock电平，从而锁住总线，直到该指令执行完毕再放开。 而总线加锁会自动invalidate所有CPU对 _该指令涉及的内存的Cache，因此barrier就能保证所有CPU的Cache一致性。
- lock前缀(或cpuid、xchg等指令)使得本CPU的Cache写入了内存，该写入动作也会引起别的CPU invalidate其Cache。IA32在每个CPU内部实现了Snoopying(BUS-Watching)技术，监视着总线上是否发生了写内存操作(由某个CPU或DMA控制器发出的)，只要发生了，就invalidate相关的Cache line。 因此，只要lock前缀导致本CPU写内存，就必将导致所有CPU去invalidate其相关的Cache line。
两个地方可能除外：
- 如果采用write-through策略，则根本不存在缓存一致性问题(Linux对全部内存采用write-back策略);
- TLB也是Cache，但它的一致性(至少在IA32上)不能通过Snooping技术解决，而是要发送INVALIDATE_TLB_VECTOR这个IPI给其它的CPU。
MESI协议
M: Modified，已修改
E: Exclusive，排他
S: Shared，共享
I: Invalid，无效
IA32 的CPU实现了MESI协议来保证Cache coherence。 CPU的总线监测单元，始终监视着总线上所有的内存写操作，以便随时调整自己的Cache状态。
-> Modified。 本CPU写，则直接写到Cache，不产生总线事物；其它CPU写，则不涉及本CPU的Cache，其它CPU读，则本CPU需要把Cache line中的数据提供给它，而不是让它去读内存。
-> Exclusive。只有本CPU有该内存的Cache，而且和内存一致。 本CPU的写操作会导致转到Modified状态。
-> Shared。 多个CPU都对该内存有Cache，而且内容一致。任何一个CPU写自己的这个Cache都必须通知其它的CPU。
-> Invalid。 一旦Cache line进入这个状态，CPU读数据就必须发出总线事物，从内存读。
DMA写策略
1. Write through策略。 这种情形比较简单。
-> 本CPU写内存，是write through的，因此无论什么时候DMA读内存，读到的都是正确数据。
-> DMA写内存，如果DMA要写的内存被本CPU缓存了，那么必须Invalidate这个Cache line。下次CPU读它，就
直接从内存读。
2. Write back策略。 这种情形相当复杂。
-> DMA读内存。被本CPU总线监视单元发现，而且本地Cache中有Modified数据，本CPU就截获DMA的内存读操作，
把自己Cache Line中的数据返回给它。
-> DMA写内存。而且所写的位置在本CPU的Cache中，这又分两种情况：
- Cache Line状态未被CPU修改过(即cache和内存一致)，那么invalidate该cache line。
- Cache Line状态已经被修改过，又分2种情况：
- DMA写操作会替换CPU Cache line所对应的整行内存数据，那么DMA写，CPU则invalidate自己的Cache Line。
- DMA写操作只替换Cache Line对应的内存数据的一部分，那么CPU必须捕获DMA写操作的新数据(即DMA想把它写入内存的)，用来更新Cache Line的相关部分。
http://en.wikipedia.org/wiki/Memory_ordering#Compiler_memory_barrier