greenplum 使用gpfdist存入大量数据

参考文章

• greenplum使用gpfdist与外部表高效导入数据
• GreenPlum数据的装载与卸载之外部表以及gpfdist工具的使用

操作步骤

使用gpfdist
使用前提是安装了greenplum的，然后会自带gpfdist
操作步骤

1. 启动gpfdist 进入gpfdist所在目录执行命令 通过which gpfdist命令得到其路径

   gpfdist -d /home -p 8080 -l /home/gpadmin/gpfdist.log &
   命令   共享文件的目录  端口自行设置   日志目录   最后的&符号别忘了	
   

2. 创建普通外部表（只读）

   create external table xxx(
   ....里面就是建表语句	
   )location('gpfdist://mdw:8080/xxx.csv') format 'csv';
   

   建表的时候要注意：
   ----这个外部表的结构和你要存储的表结构要一致
   ----not null这些就删掉好了 往简单了搞 不然会报错
   ----location后面的语句也是一块的不然构建不了
   ----mdw是主机名称，也可以用ip
   ----gpfdist只支持csv、text、custom格式，txt不行哦！

3. 将外部表中的内容插入目标表中

   insert into table desT select * from xxx;
   				  目标表		刚刚构建的外部表	
   

注意点

就是说：
1、尽量导出数据的时候用csv
2、导出数据不要行头、封闭符，只要分隔符
我在使用的时候就不要行头（字段标题），么有用到后面两个
还有一个要注意的是用的timestamp类型的时候，导出数据的时候要设置成**-为分隔符，YMD顺序**，不然会报以下的错：