导入四百万行级超大尺寸CSV文件的经验分享

由于工作需要需要导入约四百万行的单个CSV文件,该CSV文件解压后1.2G。以下是我尝试的方法记录:

一、Win10下的记事本

用记事本打开,人家直接撂挑子,以前Win7之前的记事本至少还会吭哧吭哧得去认真干活,虽然打开之后记事本也死了。但是win11的记事本可调皮可滑头了,直接说老子干不了,找别人吧。如图:

导入四百万行级超大尺寸CSV文件的经验分享_第1张图片

 二、Excel与WPS

Excel与WPS我也没报太大希望,因为以前也用Excel和WPS处理过几十万行的数据,基本就是卡的不能动。

WPS吭哧吭哧干了2分钟,跳出个弹窗,说数据长度超过工作表外,你可能会丢失部分数据。后来补了下基础知识,Excel或WPS一个sheet最多只能有1048576行,105万行不到点,用它们来打开四百万行级别的数据确实为难它们了。打开这105万行也基本处于无法操作的状态,真的是卡的不行。

导入四百万行级超大尺寸CSV文件的经验分享_第2张图片

三、Notepad++

 记事本及Excel都不行,想着用Notepad++试试吧,也是不行,人家也是直接撂挑子。这是我没想到,以前也用Notepad++打开过超大尺寸CSV文件过,这次是真没想到它会撂挑子,看来数据量太大,生产队的驴也不想接了。

导入四百万行级超大尺寸CSV文件的经验分享_第3张图片

 三、MySQL及一众GUI

MySQL在数据库界算是轻量级的,但是但对于单机版用户来说,这个就是重量级了,用户门槛过高,而且对于普通用户来说还得搭配GUI使用。

(一)Navicat for MySQL

以前用过Navicat,用它导入过一百万级别的数据,没有问题,这次用它来导入四百万级的数据时,就不行了,导入的时候只是在跳秒,进度条没有动静,遂放弃。

(二)HeidiSQL

开源的GUI工具,平时用来管理数据可能还行,导入功能我记得好像是没有的,所以明显不合适,遂放弃。另外,已经停止维护的MySQL-front也是一样的问题,导入功能很欠缺,没啥用。

(三)DBeaver

这个时是事后复盘时,用的工具,当时接到这个任务时,想着Navicat和heidiSQL都寄了就算了吧,当时DBeaver就没试,后来试了一下,果然有惊喜,DBeaver竟然可以,但是也没完全可以,导入到60万行竟然卡着不动了,也许再试一遍就可以了呢,哎!

不过呢,这种专业的工具对于普通用户可能就有难度了,导入CSV的时候要注意在第一页设置好,第一行是否是列名,还有文件的编码格式,默认是UTF-8,我的CSV文件是GB2312。另外,如果没有建立好表结构直接导入的时候,DBeaver会自己判定数据类型,VARCHAR默认长度50,注意要设置好合适的长度,不然导入的时候数据越界会导入不成功的。

导入四百万行级超大尺寸CSV文件的经验分享_第4张图片

(四)phpmyadmin

这个导入也不太行。

四、ACCESS

我最后是用ACCESS解决的,ACCESS Save the day!单位里的很多老前辈还在用Foxpro,可是这个软件早就被放弃了啊。ACCESS才是Foxpro的正统继任者,而ACCESS的使用者却寥寥无几,我觉得向我们这种做统计和数据分析的人群,ACCESS才是最合适的工具。

为ACCESS点赞,所以说,论软件的健壮性还得是商业软件,开源的真的不行。

你可能感兴趣的:(数据库)