黑猴子的家:Sqoop数据导入工具import

import工具用来将HDFS平台外部的结构化存储系统中的数据导入到Hadoop平台,以便后续分析。使用import工具需要指定split-by参数。Sqoop会根据该参数值对关系型数据库的表数据进行切分,然后将切分后的数据分配到不同的map任务中。每个map负责导入对应区域内的数据。

选项 含义说明
--append 将数据追加到HDFS上一个已存在的数据集上
--as-avrodatafile 将数据导入到Avro数据文件
--as-sequencefile 将数据导入到SequenceFile
--as-textfile 将数据导入到普通文本文件(默认)
--boundary-query 边界查询,用于创建分片(InputSplit)
--columns 从表中导出指定的一组列的数据
--delete-target-dir 如果指定目录存在,则先删除掉
--direct 使用直接导入模式(优化导入速度)
--direct-split-size 分割输入stream的字节大小(在直接导入模式下)
--fetch-size 从数据库中批量读取记录数
-inline-lob-limit 设置内联的LOB对象的大小
-m,--num-mappers 使用n个map任务并行导入数据
-e,--query 导入数据所使用的查询语句
--split-by 指定按照哪个列去分割数据
--table 导入的源表表名
--target-dir 导入HDFS的目标路径
--warehouse-dir HDFS存放表的根路径
--where 指定导出时所使用的查询条件
-z,--compress 启用压缩
--compression-codec 指定Hadoop的codec方式(默认gzip)
--null-string string类型的字段,当Value是NULL,替换成指定的字符
--null-non-string 非string类型的字段,当Value是NULL,替换成指定字符

你可能感兴趣的:(黑猴子的家:Sqoop数据导入工具import)