Sqoop export 数据导出覆盖与更新

sqoop-export xxxxxx --table xxxxxxxxx --columns xxx,xxxx --fields-terminated-by ',' --input-null-string '' --input-null-non-string '' --export-dir "/hdfs/xxxxxx/dt=$dt" --update-key id --update-mode allowinsert

上面是一个Sqoop导出的例子

 

Sqoop export工具被用来将文件集合从HDFS中导入关系型数据库中。目标表必须事先已经在数据库中创建好。

输入文件根据用户指定分隔符被读取解析成记录集。

其中主要有两个模式：

• INSERT模式

• • Sqoop默认的将每条记录以转换成INSERT语句添加到数据库表中，如果你的表达式存在一些约束如关键字唯一等（使用插入模式，如果一条记录插入失败，则JOB失败）；

• UPDATE模式

• • 如果指定--update-key参数,Sqoop将会修改一个数据库中存在的数据集，每一条记录都会当作UPDATE语句来修改存在的记录。记录的修改语句根据—update-key指定的列（索引）决定。如果一个更新语句在数据库中没有对应的记录，则不会报错，导出操作会继续进行。只更新原始记录。

参数说明：

Argument	Description
--direct