使用Sqoop将MySql to Hive问题解决记录

使用Sqoop将MySql to Hive问题解决记录

1、Sqoop连接hive元问题
hive配置文件hive-site.xml 将hive.metastore.uris，value值设置为空。

  hive.metastore.uris
  

2、Sqoop导入到hive
问题描述：
OOM错误（java.lang.OutOfMemoryError:Java heap space）
和
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

调整hadoop配置mapred-site.xml 将mapreduce.map.java.opts和mapreduce.reduce.java.opts适当调整大小

   mapreduce.map.java.opts
   -Djava.net.preferIPv4Stack=true -Xmx1792m


   mapreduce.reduce.java.opts
   -Djava.net.preferIPv4Stack=true -Xmx2048m

3、derby jar包问题
问题描述：
Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40

将derby jar包注释，留derby-10.11.1.1.jar

mv derby-10.13.1.1.jar derby-10.13.1.1.jar.bak

mv derby-10.5.3.0_1.jar derby-10.5.3.0_1.jar.bak
mv derby-10.14.2.0.jar derby-10.14.2.0.jar.bak
mv derby-10.12.1.1.jar derby-10.12.1.1.jar.bak
mv derby-10.10.2.0.jar derby-10.10.2.0.jar.bak

** 配置presto需要在hive配置文件hive-site.xml

   hive.metastore.warehouse.dir
   /user/hive/warehouse
   location of default database for the warehouse


  hive.metastore.uris
  thrift://nfcls8:9083