java.util.ConcurrentModificationException 解决办法

今天做一个网络抓取工具的时候碰到了java.util.ConcurrentModificationException这个问题,引发问题的大体代码如下:
java.util.List<ArticleDownloader> threads = new ArrayList<ArticleDownloader>();

LogUtil.info("==========开始抓取文章=============");
		
for (int i = 0; i < count; i++) {
    ArticleDownloader thread = new ArticleDownloader();
    threads.add(thread);
    thread.start();
}

我在ArticleDownloader.java中做了一个检测是否完成的操作
public void run() {
    checkFinish();
}

checkFinish方法如下:
public void checkFinish() {
		boolean jobFinished = true;
		for (ArticleDownloader downloadThread : threads) {
			LogUtil.info("checkFinish:");
			jobFinished &= downloadThread.jobFinished;
		}
		if (jobFinished) {
			LogUtil.info("==========文章抓取完毕,总文章数:" + urlList.length
					+ ",共耗时:" + (new Date().getTime() - start));
			System.exit(0);
		}
	}


好了,问题来了,从API中可以看到List等Collection的实现并没有同步化,如果在多 线程应用程序中出现同时访问,而且出现修改操作的时候都要求外部操作同步化;调用Iterator操作获得的Iterator对象在多线程修改Set的时 候也自动失效,并抛出java.util.ConcurrentModificationException。这种实现机制是fail-fast,对外部 的修改并不能提供任何保证。

网上查找的关于Iterator的工作机制。Iterator是工作在一个独立的线程中,并且拥有一个 mutex锁,就是说Iterator在工作的时候,是不允许被迭代的对象被改变的。Iterator被创建的时候,建立了一个内存索引表(单链表),这 个索引表指向原来的对象,当原来的对象数量改变的时候,这个索引表的内容没有同步改变,所以当索引指针往下移动的时候,便找不到要迭代的对象,于是产生错 误。List、Set等是动态的,可变对象数量的数据结构,但是Iterator则是单向不可变,只能顺序读取,不能逆序操作的数据结构,当 Iterator指向的原始数据发生变化时,Iterator自己就迷失了方向。

知道了问题的原因,解决就很简单了:
for (int i = 0; i < count; i++) {
    ArticleDownloader thread = new ArticleDownloader();
    threads.add(thread);
    //thread.start();将所有下载器初始化完毕后再启动
}

for (ArticleDownloader articleDownloader : threads) {
    articleDownloader.start();// 统一启动线程,防止初始化过程中不正当争抢资源
}

你可能感兴趣的:(java,多线程,thread,数据结构,网络应用)