对于大数据量csv文件的操作

  csv文件用文本打开来，每个字段都带有""号的，如果小数据量的话，可以手工去掉，但是大数据量就不可取了

  

可以这样操作

1、打开MicroSoft Excel 2000

2、文件(F)→新建(N)→工作簿→

3、输入以下数据，存盘为test.xls，如图：

4、文件(F)→另存为(A)→

保存类型为：制表符分隔，起名为text.txt，保存到C:\

 

ctl文件这样写：

load data　　　　　　　　　　 --1、控制文件标识
infile 'test.txt'　　　　　　 --2、要输入的数据文件名为test.txt
append into table test　　　　--3、向表test中追加记录
fields terminated by X'09'　　--4、字段终止于X'09'，是一个制表符（TAB）
(id,username,password,sj)　　 -----定义列对应顺序

a、insert，为缺省方式，在数据装载开始时要求表为空
b、append，在表中追加新记录
c、replace，删除旧记录，替换成新装载的记录
d、truncate，同上


一开始自己想手动去掉，发现不可行，22W的数据不是开玩笑滴