处理超大csv文件的方案

在平时我们用PHP去处理读取csv文件导数据入库的时候,一般都会不约而同的想到PHPExcel,PhpSpreadsheet这些插件,然后调用load方法,输出数组,然后循环去处理文件,嗯没错!这是很好的一个选择,现成的成熟的一个插件包,拿来即用,也没有什么程序上的bug;但是这里面存在一个性能的问题,对一些小的csv文件,1万行数据以内基本可以轻松使用,但是数据量偏大了,会有一个内存的问题,你会说ini_set('memory_limit', 'xxx'),也可以,但是问题是,有些时候这个csv文件你也不知道是什么增量,有可能突然哪天就到了100万行,到时系统就很难用这些插件去处理;可以用php自带的底层函数类,SplFileObject,可以逐行去读取文件,对于一个100万行的文件,你可以10000行一次,100次处理完,基本没有什么内存压力。而且也不用担心文件将来会越来越大。

你可能感兴趣的:(后端,算法)