在集群上支持数据库大数据量导出
80w行的数据导出
数据库表（经过程序处理）导出一般使用EXCEL文件，技术一般有POI、JXL、FastExcel。但是当文件过大（几十个字段，行数超过200,000）的时候，往往会出现内存溢出OutOfMemery,这个是应用无非承受的。
对于导出这么大量的数据，一般没有实时性的要求，也没有外观的要求。
业务部分的需求一般是：导出80W行数据，不管是什么，最后能变化成EXCEL即可。
解决方案：直接导出成TXT的格式，再由EXCEL打开，这样一般能满足业务的需求。
涉及的技术，压缩、并发等技术还要跟集群结合。
压缩：直接将txt压缩成RAR文件，没有什么难度。
并发：我们在后台起一个线程或者几个线程来运行一段程序，操作数据的任务表。（可以是单台机器操作）。
任务处理：直接在数据库建立任务表。
基本的结构如下所示：
- 用户的一个下载请求，传到这个服务器，服务器再传到第一台服务器。
- 第一台服务器向DB的任务表中插入一个条任务信息。
- 当第一台服务器启动的时候，启动一个线程，定时去查看DB中有没有任务。
- 如果有任务，则 处理，从底层BO中取得需要的数据。
- 直接写入文件file.txt中,再将压缩成file.rar文件
- 在页面展示一个下载中心,用户可以下载文件、也可以删除文件，甚至可以查看当然的下载任务的处理剩余时间。
file.rar必须挂在存储上，多台服务器共享。
压缩源码(核心部分):
public static final String FILE_STYLE = ".rar";<br />
public static final String CODE = "ISO8859_1";<br />
public static BigDecimal compressedFiles(File file) throws IOException {<br />
File f = new File(file.getPath() + FILE_STYLE);<br />
compress(file, f);<br />
file.delete();<br />
return new BigDecimal(f.length() / (1024 * 1024 * 1.0));<br />
}<br />
public static void compress(File file, File ff) throws IOException {<br />
FileOutputStream f = new FileOutputStream(ff);<br />
CheckedOutputStream csum = new CheckedOutputStream(f, new CRC32());<br />
ZipOutputStream out = new ZipOutputStream(<br />
new BufferedOutputStream(csum));<br />
out.setComment("压缩的文件，文件是txt的");<br />
BufferedReader in = new BufferedReader(new InputStreamReader(<br />
new FileInputStream(file), CODE));<br />
out.putNextEntry(new ZipEntry(file.getName()));<br />
int c;<br />
while ((c = in.read()) != -1)<br />
out.write(c);<br />
out.flush();<br />
out.close();<br />
in.close();<br />
f.close();<br />
csum.close();<br />
}
NotepadRender:
public static final String FILE_STYLE = ".rar";<br />
public static final String CODE = "ISO8859_1";<br />
public static BigDecimal compressedFiles(File file) throws IOException {<br />
File f = new File(file.getPath() + FILE_STYLE);<br />
compress(file, f);<br />
file.delete();<br />
return new BigDecimal(f.length() / (1024 * 1024 * 1.0));<br />
}<br />
public static void compress(File file, File ff) throws IOException {<br />
FileOutputStream f = new FileOutputStream(ff);<br />
CheckedOutputStream csum = new CheckedOutputStream(f, new CRC32());<br />
ZipOutputStream out = new ZipOutputStream(<br />
new BufferedOutputStream(csum));<br />
out.setComment("压缩的文件，文件是txt的");<br />
BufferedReader in = new BufferedReader(new InputStreamReader(<br />
new FileInputStream(file), CODE));<br />
out.putNextEntry(new ZipEntry(file.getName()));<br />
int c;<br />
while ((c = in.read()) != -1)<br />
out.write(c);<br />
out.flush();<br />
out.close();<br />
in.close();<br />
f.close();<br />
csum.close();<br />
}
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
- —软件人才免语言低担保 赴美带薪读研！—