01 在CentOS中安装Sqoop

在大数据组件之间进行数据的迁移是必不可少的,本文将阐述数据迁移的重要工具之一sqoop。

1 系统、软件以及前提约束

  • CentOS 7 64 工作站 作者的机子ip是192.168.100.200,请读者根据自己实际情况设置
  • sqoop-1.4.7.bin__hadoop-2.6.0
    下载链接:https://pan.baidu.com/s/1c_skDYabCRSkS5hRUB6lFQ
    已下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz并上传到/root
    提取码:a00t
  • Hadoop已经安装
    https://www.jianshu.com/p/b7ae3b51e559
  • 为去除权限对操作的影响,所有操作都以root进行
  • 确保hadoop启动、mysql启动

2 操作

  • 1 解压
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
  • 2 配置环境变量
    修改/root/.bashrc,加入以下的内容,保存,退出,使生效:
export SBT_HOME=/root/sbt
export JAVA_HOME=/root/jdk1.8.0_152
export HIVE_HOME=/root/apache-hive-0.14.0-bin
export SCALA_HOME=/root/scala-2.11.8
export SPARK_HOME=/root/spark-2.2.1-bin-hadoop2.7
export SQOOP_HOME=/root/sqoop-1.4.7.bin__hadoop-2.6.0
export PATH=$SQOOP_HOME/bin:$SBT_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$HIVE_HOME/bin:$HIVE_HOME/conf:$JAVA_HOME/bin:$PATH
  • 3 配置sqoop-env.sh
cd /root/sqoop-1.4.7.bin__hadoop-2.6.0/conf
cp sqoop-env-template.sh sqoop-env.sh
# 在sqoop-env.sh中加一下内容
export HADOOP_COMMON_HOME=/root/hadoop-2.5.2
export HADOOP_MAPRED_HOME=/root/hadoop-2.5.2
export HIVE_HOME=/root/apache-hive-0.14.0-bin
export HBASE_HOME=/root/hbase-1.2.6
  • 4 上传mysql的jdbc驱动包到sqoop的lib文件夹下
  • 5 测试,通过sqoop查看mysql中的数据库实例信息【注意,请读者根据实际设置数据库账号、密码、实例名称】
./sqoop list-databases --connect jdbc:mysql://localhost:3306/mysql?characterEncoding=UTF-8 --username root --password 'zhangli'
  • 6 把mysql中的数据导入HDFS
# "jdbc:mysql://localhost:3306/mysql"中的第二个mysql是数据库实例名称,导入的是mysql实例中的user表
sqoop import -m 1 --connect jdbc:mysql://localhost:3306/mysql --username root --password zhangli --table user --target-dir /user/sqoop/mysql/user

以上就是在CentOS中安装Sqoop,并从mysql导入数据到HDFS的过程。

你可能感兴趣的:(01 在CentOS中安装Sqoop)