Java数据集合性能优化的几点设计启示

java包为我们提供了很多线程安全（部分安全）的数据集合，涉及线程安全就必然会遇到锁争用和效率上的平衡，其实就是读和写的平衡，读是没有问题的，问题在于写，具体就是如何在写的时候，既不影响读的操作，又能安全地写。

对于并发线程中共享和使用对象的策略，一般可以分为四种：

1. 线程封闭
   对象仅在线程内部可以访问，如线程内部的封闭变量，或ThreadLocal。
2. 只读安全
   在读对象时可以保证安全，如不变性的Final对象，或CopyOnWriteArrayList读写分离对象。
3. 线程安全共享
   对象开放了线程安全的访问方式，如HashTable，这种形式仅能保证单个方法是安全的，而且性能与粒度有关，HashTable是整张表加锁，性能不佳；ConcurrentHashMap是分段加锁，各分段可以并行，性能就好很多。
4. 保护对象
   需要在在调用代码中通过对象锁来保证安全，这可以保证整个逻辑操作是安全的。

从具体的技术实现来看，concurrent、Collections、android.util等，为我们提供了很多设计思路。

1. 加锁处理
   实现线程安全，容易想到的就是加锁，例如Hashtable加函数锁，Collections.synchronizedList加对象锁，这种方式的读写性能相对平衡。
   这几种加锁并不能保证绝对的线程安全，比如

if(map.containsKey("key")){
   map.remove("key");
}

在多线程中，虽然两个函数都加了锁，但是整个“检查-删除”操作并没有加锁，不是原子操作，可能出现线程A和线程B都通过了检查，都做删除操作导致出错（ConcurrentModificationException）的问题。这需要我们在编写代码时自己视情况加锁。
完全锁在性能上最大的问题是无法并行处理，只能串行处理，效率低下。

2. 部分加锁
   为了优化并行处理效率，有一种思路是把锁的粒度变小，只锁数据集合的一部分，比如ConcurrentHashMap，EventBus就使用了ConcurrentHashMap。
   ConcurrentHashMap也是数组+链表的组合，和HashMap不同的是，ConcurrentHashMap有两级数组，第一级数组是16个分段锁，每个分段segment其实是个ReentrantLock可重入锁，相当于16个桶，每个桶里有一个小型的HashMap。
   这样，在操作部分数据时，只需要锁一个分段，这样可以并行处理16个分段，只有在全局处理所有数据时，才需要锁定所有16个segment。
   因为ConcurrentHashMap的结构更复杂，所以需要使用三个HashKey，根据Key生成第一个key1，根据key1的高位hash出key2，key2决定在哪个segment；根据key1的全值hash出key3，key3决定在哪个HashEntry。
   （Java8以后，CurrentHashMap不再使用Segment可重入锁，而是采用transient volatile HashEntry[] table数组元素加锁，这样可以对每行数据加锁，更细；同时改为使用数组+红黑树的CAS结构，当数组超过8时，改用红黑树管理）

3. 重复尝试
   不论是整体锁还是部分锁，都是用monitorenter和monitorexit屏障来禁止多线程并行，这是个很重量级的操作，因为线程数量的屏障和上下文的切换都会造成损耗。
   所以，有很多“不加锁”的优化思路
   自旋
   很多场景下，获取锁的时候可能就差一点点时间，所以可以重试几次获取锁，也就是自旋，如果没有拿到锁，就自旋等待一小会儿，这可以避免线程上发生大的开销。当然，自旋需要有自旋次数上限。
   concurrentHashMap（Java7）在获取segment锁时，就使用了自旋的概念。
   CAS
   有些运算，并行出错的可能很小，而且规则固定（比如自增1），这时可以尝试在“不安全”的环境下去做运算，然后对照前后的数据是否符合运算规则，这就是Compare And Swap，从CPU指令基本实现了Compare And Swap。
   AtomicInteger等类型就是典型的CAS
   其他重复尝试
   我们可以自己扩展重复尝试的思路，比如在concurrentHashMap里做size时，如果要锁整个表，代价太大，实际上是分别从每个segment获取数量，再求和，这显然是不安全的，但是如果连续取三次，数据都一致地话，就说明这期间没有数量变化，认为是安全的；如果没有取得一致，再锁整个表。

4. 读写分离
   除了缩小锁的粒度，还有一种优化方法是从操作维度上，把读操作和写操作分开。
   在很多场景下，数据集合主要用来读，很少用来写（比如缓存），这时候可以做一个副本，在副本里写，在原集合里读，读和写不是同一个对象，就是读写分离。
   读操作的对象是不变的，不需要加锁，不影响并行效率；
   写操作虽然需要加锁，但是使用频率很低，所以综合起来能达到一个较好的平衡。
   集合对象不需要加锁，虽然制作副本集合需要复制整个数组，会消耗大量时间，但是只需要对写函数加锁即可（同时把集合做成volatile对象，写之前先刷新一次）；而在写回原集合时，只需要修改原集合的引用，改为指向副本集合，做一个=赋值操作即可，=赋值是个原子操作，也不用加锁。
   读写分离的一种典型做法是COW，在Concurrent包里就是CopyOnWriteArrayList和CopyOnWriteArraySet。
   如果把CopyOnWriteArrayList视为对象，还可以做复合的数据结构，例如：

Map, CopyOnWriteArrayList