处理超大csv文件的方案

在平时我们用PHP去处理读取csv文件导数据入库的时候，一般都会不约而同的想到PHPExcel，PhpSpreadsheet这些插件，然后调用load方法，输出数组，然后循环去处理文件，嗯没错！这是很好的一个选择，现成的成熟的一个插件包,拿来即用，也没有什么程序上的bug;但是这里面存在一个性能的问题，对一些小的csv文件，1万行数据以内基本可以轻松使用，但是数据量偏大了，会有一个内存的问题，你会说ini_set('memory_limit', 'xxx'),也可以，但是问题是，有些时候这个csv文件你也不知道是什么增量，有可能突然哪天就到了100万行，到时系统就很难用这些插件去处理；可以用php自带的底层函数类，SplFileObject，可以逐行去读取文件，对于一个100万行的文件，你可以10000行一次，100次处理完，基本没有什么内存压力。而且也不用担心文件将来会越来越大。