【大数据】Sqoop简介

Sqoop简介

Sqoop(发音:skup)是SQL-to-Hadoop的缩写,是一款开源的工具,主要用来在Hadoop和关系数据之间交换数据,可以改进数据的数据的互操作性。

通过Sqoop,可以方便地将数据从MySQL、Oracle、PostgreSQL等关系数据库中导入Hadoop(比如导入到HDFS、Hbase或Hive中),

或者将数据从Hadoop导出到关系数据库,使得传统关系数据库和Hadoop之间的数据迁移变得非常方便。

Sqoop,类似于其他ETL工具,使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。

Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。

部分摘自-《Spark编程基础》书籍。

你可能感兴趣的:(大数据,sqoop,sql-to-hadoop)