sqoop:mysql2hive传输数据出现问题

  • 传输代码
    sqoop import \
    --connect jdbc:mysql://bigdata30:3306/bigdata  \
    --username root  \
    --password 123456 \
    --delete-target-dir \
    --target-dir /data/sqoop/emp_tmp \
    --fields-terminated-by ',' \
    -m 1 \
    --query 'select * from emp where $CONDITIONS ' \
    --hive-import \
    --hive-overwrite \
    --hive-database bigdata_hive2 \
    --hive-table emp_sqoop 

     

  • 出现问题
    2023-03-24 08:54:41,779 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
    2023-03-24 08:54:41,780 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

    sqoop:mysql2hive传输数据出现问题_第1张图片
  • 问题原因:sqoop/lib中缺失 hive-common-3.1.2.jar 和 hive-exec-3.1.2.jar
    sqoop:mysql2hive传输数据出现问题_第2张图片
  • 问题解决
    jar包路径:/app/hive/lib
    cp hive-common-3.1.2.jar /home/hadoop/app/sqoop/lib/
    cp hive-exec-3.1.2.jar  /home/hadoop/app/sqoop/lib/

      

     

  • 重新运行代码
    sqoop:mysql2hive传输数据出现问题_第3张图片

        成功!!
        sqoop:mysql2hive传输数据出现问题_第4张图片

 

 

 

你可能感兴趣的:(sqoop,hive,大数据)