处理海量数据时注意的问题

最近在给客户整一个财务报表,用的nopi生成excel,客户那每个月的数据大概有30W条,生成的excel约200张,在我们公司服务器上跑起来妥妥的,到客户的服务器上就完蛋了,跑着跑着就崩溃掉了,无力吐槽,万万没想到啊。总之又加了好几天班才解决问题。

大概如下,望各位童鞋注意

1.查询所需要处理的数据尽可能少,可以在数据库端进行第一步处理,比如select sum(totalprice) from table group by company啦

2. 及时进行垃圾回收

3.如果处理时间过长可以分批次处理

4.不要相信客户的服务器和自己的服务器性能一样,自己的服务器烂,客户的更烂

你可能感兴趣的:(海量数据)