任务执行大数据量与高并发方案

大数据量高并发任务解决方案

场景

每个任务有十万条以上的数据,任务执行过程中对这些数据逐条做分析处理。
在同一段时间,会出现任务高并发执行,导致内存溢出

解决方案

1、分批处理
任务执行过程中,不一次性读取全量数据,只读部分数据进行处理,处理完的数据从数据列表中移除,让垃圾回收器能够回收,等待数据处理完后再读取下一批数据进行处理
任务执行大数据量与高并发方案_第1张图片

2、数据缓存
任务执行过程中,读取的数据存入redis,在redis使用队列进行存储,再从队列中逐步读出数据处理并移除
任务执行大数据量与高并发方案_第2张图片

你可能感兴趣的:(java后端,方案,java)