Sqoop

Sqoop中分为import和export,这个是相对于Hadoop来说的,从RDBMS把数据导入到HDFS,Hive,HBase中是import,反过来是export。
Sqoop工作机制是将导入导出的命令翻译成MR程序来实现。
原有的MR中是TextInputFormat,Sqoop是对InputFormat,OutputFormat进行了定制,DBInputFormat。数据库的读写肯定和文本文件的读写不同。


解压安装包,进入conf目录

Sqoop_第1张图片

Sqoop_第2张图片

这里在配置Hadoop目录的时候,有可能定制后的Hadoop,COMMON和MAPRED两个的目录不同。此处是一样的。
设置好Hadoop和Hive的目录:
Sqoop_第3张图片
HBase这里暂时没有用到,Zookeeper是和HBase相关的。

需要和MySQL之间进行数据传递,需要MySQL的连接驱动。将MySQL的驱动文件放到Sqoop的lib目录下。

测试一下Sqoop能不能使用:
在Sqoop目录下运行已经编辑好的执行脚本:
bin/sqoop list-databases --connect jdbc:mysql://:3306/ --username root --password mysql

Sqoop_第4张图片
可以看到打印出了MySQL中创建的所有的数据库。连接成功,Sqoop的安装正确。


你可能感兴趣的:(Sqoop)