Sqoop安装和使用

Sqoop安装和使用

Sqoop安装部署

• 安装Sqoop前需要安装并启动Hadoop

• 下载Sqoop

  链接http://mirrors.aliyun.com/apache/sqoop/1.4.7/

• 将安装包覆之都对应的目录下解压安装

  tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0

• 下载Mysql数据库中的驱动程序

  https://dev.mysql.com/downloads/connector/j/

• 配置Mysql连接器 把复制到Sqoop的依赖包中

  cp mysql-connector-java-8.0.15.jar (驱动程序) sqoop-1.4.7.bin__hadoop-2.6.0/lib

• 配置环境变量

    cd  sqoop-1.4.7.bin__hadoop-2.6.0/conf
    cp sqoop-env-template.sh sqoop-env.sh
    
    vim sqoop-env.sh
    # 配置环境 HADOOP 和 HIVE的位置需要自己指定
    export HADOOP_COMMON_HOME=/opt/hadoop（替换为自己的地址）
    export HADOOP_MAPRED_HOME=/opt/hadoop（替换为自己的地址）
    export HIVE_HOME=/opt/hive（替换为自己的地址）
    
    vi ~/.bash_profile
    #sqoop
    export SQOOP_HOME=/opt/sqoop-1.4.7.bin__hadoop-2.6.0
    export PATH=$PATH:$SQOOP_HOME/bin
    source ~/.bash_profile

• 测试是否安装成功 出现即成功

  sqoop version

使用Sqoop将Hive的数据导入MySQL

	sqoop export --connect jdbc:mysql://localhost:3306/数据库名 --username root --password root 
	--table Mysql被倒入的表名 --export-dir 'hdfs://loacalhost:9000/user/hive/warehouse/数据库名/表名' 
	--fields-terminated-by '\t';

- -connect jdbc:mysql://localhost:3306/test 连接数据库 localhost可替换我这里是本地 可以改成master
- -username root --password root MySQL的用户名和密码

使用Sqoop将Mysql的数据导入Hive

	sqoop import --connect jdbc:mysql://localhost:3306/数据库名 --username root --password root 
	--table Hive被倒入的表名 --target-dir 'hdfs://loacalhost:9000/user/hive/warehouse/数据库名/表名' 
	--fields-terminated-by '\t' -m 1;