导入四百万行级超大尺寸CSV文件的经验分享

由于工作需要需要导入约四百万行的单个CSV文件，该CSV文件解压后1.2G。以下是我尝试的方法记录：

一、Win10下的记事本

用记事本打开，人家直接撂挑子，以前Win7之前的记事本至少还会吭哧吭哧得去认真干活，虽然打开之后记事本也死了。但是win11的记事本可调皮可滑头了，直接说老子干不了，找别人吧。如图：

 二、Excel与WPS

Excel与WPS我也没报太大希望，因为以前也用Excel和WPS处理过几十万行的数据，基本就是卡的不能动。

WPS吭哧吭哧干了2分钟，跳出个弹窗，说数据长度超过工作表外，你可能会丢失部分数据。后来补了下基础知识，Excel或WPS一个sheet最多只能有1048576行，105万行不到点，用它们来打开四百万行级别的数据确实为难它们了。打开这105万行也基本处于无法操作的状态，真的是卡的不行。

三、Notepad++

 记事本及Excel都不行，想着用Notepad++试试吧，也是不行，人家也是直接撂挑子。这是我没想到，以前也用Notepad++打开过超大尺寸CSV文件过，这次是真没想到它会撂挑子，看来数据量太大，生产队的驴也不想接了。

 三、MySQL及一众GUI

MySQL在数据库界算是轻量级的，但是但对于单机版用户来说，这个就是重量级了，用户门槛过高，而且对于普通用户来说还得搭配GUI使用。

（一）Navicat for MySQL

以前用过Navicat，用它导入过一百万级别的数据，没有问题，这次用它来导入四百万级的数据时，就不行了，导入的时候只是在跳秒，进度条没有动静，遂放弃。

（二）HeidiSQL

开源的GUI工具，平时用来管理数据可能还行，导入功能我记得好像是没有的，所以明显不合适，遂放弃。另外，已经停止维护的MySQL-front也是一样的问题，导入功能很欠缺，没啥用。

（三）DBeaver

这个时是事后复盘时，用的工具，当时接到这个任务时，想着Navicat和heidiSQL都寄了就算了吧，当时DBeaver就没试，后来试了一下，果然有惊喜，DBeaver竟然可以，但是也没完全可以，导入到60万行竟然卡着不动了，也许再试一遍就可以了呢，哎！

不过呢，这种专业的工具对于普通用户可能就有难度了，导入CSV的时候要注意在第一页设置好，第一行是否是列名，还有文件的编码格式，默认是UTF-8，我的CSV文件是GB2312。另外，如果没有建立好表结构直接导入的时候，DBeaver会自己判定数据类型，VARCHAR默认长度50，注意要设置好合适的长度，不然导入的时候数据越界会导入不成功的。

（四）phpmyadmin

这个导入也不太行。

四、ACCESS

我最后是用ACCESS解决的，ACCESS Save the day！单位里的很多老前辈还在用Foxpro，可是这个软件早就被放弃了啊。ACCESS才是Foxpro的正统继任者，而ACCESS的使用者却寥寥无几，我觉得向我们这种做统计和数据分析的人群，ACCESS才是最合适的工具。

为ACCESS点赞，所以说，论软件的健壮性还得是商业软件，开源的真的不行。