java8 parallelStream并发处理大数据时出现越界的处理办法

近日在使用java8的parallelStream时也掉进了前辈们踩的坑中。概率性的出现java.lang.ArrayIndexOutOfBoundsException

最后写了一个demo 

 

public static void main(String[] args) {
        List list = new ArrayList<>();
        List list2 = new ArrayList<>();
        long index = 100000;
        for(int i=0;i             list.add("s:"+i);
        }
        
        try {
            list.parallelStream().forEach(p->list2.add(p+"追加"));
            
        } catch (Exception e) {
            e.printStackTrace();
        }
        
    }

 结果就真出现了那个问题。当然在结合baidu上的文章得出最终解决方案

 

问题出现的原因：因为list是非线程安全的集合，参考文章：https://my.oschina.net/7001/blog/1475500
网上的解决办法，使用线程安全的集合，copyOnWriteArrayList 或则 conCurrentHashMap..经过实际的测试。1000W条数据时，JVM崩了。以下是代码

public static void main(String[] args) {
        List list = new ArrayList<>();
        List list2 = new CopyOnWriteArrayList<>();
        long index = 10000000;
        for(int i=0;i             list.add("s:"+i);
        }
        
        try {
            list.parallelStream().forEach(p->list2.add(p+"追加"));
            
        } catch (Exception e) {
            e.printStackTrace();
        }
        
    }

如果你的电脑性能好可以试试，这性能肯定是不行的，因为lock 和 copy 数据就已经不行了，所以线程安全的case直接Pass掉

 

我的解决办法，修改集合初始化大小即可。结果即解决的多线程安全问题，又提高提高了性能 70%;

最后对多线程和单线程做一次性能对比

 1.单线程结果

2. 多线程运行结果