Sqoop-关系型数据的收集

背景

  • 非关系型数据库的收集 自然就有非关系型数据的收集
  • 非关系型数据的收集比如为了使mysql \oracle 里面的数据利用大数据技术进行分析和处理

sqoop 应用在那些方面

  • 数据迁移
  • 可视化分析结果
  • 数据增量导入

sqoop 的基本思想和特点

  • 性能高:因为sqoop是采用mepreduce 进行数据的导入导出的
  • 自动类型转化
  • 自动传播元信息

sqoop

sqoop目前存在两个版本(完全不兼容)

sqoop1 (1.4.x)
  • 是一个客户端,不用启动任何服务即可使用
  • 其实就是一个mepreduce作业
sqoop2(1.99.x)
  • 避免了一些弊端,引入了sqoop sercer
  • sqoop 2 的组件包括
    1、sqoop client
    2、sqoop server

你可能感兴趣的:(Sqoop-关系型数据的收集)