百万级数据读写Excle

Excel 2003及以下的版本。一张表最大支持65536行数据，256列。也就是说excel2003完全不可能满足百万数据导出的需求。Excel 2007-2010版本，一张表最大支持1048576行，16384列。

目前读写Excle常用JAVA技术分为POI、JXL、FASTEXCLE。相比其它两种技术，POI支持公式、宏以及格式设置，效率高。

    对于大数据量的写入，POI在最新的版本中引入了sxssf，支持对大数据量的写操作。在创建SXSSFWorkbook对象时，需要设置一个窗口大小，sxssf也就是通过将大数据量先写到本地磁盘，在通过读取本地磁盘数据，根据设置的窗口大小，多次将数据写入Excle中。这个窗口大小对写Excle的性能有较大影响。官网提供的demo：http://poi.apache.org/spreadsheet/how-to.html#sxssf 

对于大数据量的读取，POI没有提供相关读取接口，但是Excle2007创建的Excle文件内部实际是通过XML形式组织起来的。有兴趣的TX可以将Excle文件的扩展名修改为.ZIP，载解压看看该Excle文件的数据保存形式。通过流的方式对大数据量Excle文件的读取，可以大大缩短读取数据的时间。

下面附上测试的时间指标以及源码。

测试环境

内存：4G

CPU：4核

 

写入excle指标对比（每行30个单元格，写入1000以内随机数，单个sheet页）

数据量（条）	CPU（峰值）	内存（GB）	写入磁盘耗时（s）	写入Excle耗时（s）	总耗时（s）	文件大小
500	30%	2.81	0.719	0.234	0.953	75KB
1000	32%	2.81	0.719	0.281	1	147KB
5000	32%	2.85	0.968	0.438	1.406	717KB
1万	32%	2.86	1.219	0.64	1.859	1.43MB
5万	34%	2.86	3.172	2.610	5.782	7.13MB
10万	30%	2.86	5.610	5.656	11.266	14.2MB
50万	30%	2.87	30.741	25.258	55.999	71.4MB
100万	32%	2.87	57.938	131.813	189.751	143.1MB

 

读取excle指标对比（每行30个单元格，写入1000以内的随机数，10个sheet页）

数据量（条）	CPU（峰值）	内存（GB）	写入磁盘耗时（s）	写入Excle耗时（s）	总耗时（s）	文件大小
500	29%	2.81	0.734	0.281	1.015	80KB
1000	30%	2.81	0.734	0.328	1.062	151KB
5000	33%	2.85	0.813	0.640	1.435	724KB
1万	31%	2.86	0.937	1.078	2.015	1.43MB
5万	34%	2.92	2.827	3.546	6.373	7.14MB
10万	33%	2.94	5.457	5.159	10.616	14.2MB
50万	30%	2.93	23.618	24.524	48.142	71.2MB
100万	32%	2.97	47.782	96.834	144.616	142.41MB

 

工程中需要通过maven导入xercesImpl、poi-ooxml两个Jar包。

工程源码在我的CSDN资源中。地址：http://download.csdn.net/detail/jisuanjihongming/9768848