导入Hive数据导MySQL

导入Hive数据到MySQL

1. UDF

使用UDF比较方便，代码在http://svn.apache.org/repos/asf/hive/trunk/contrib/src/java/org/apache/hadoop/hive/contrib/genericudf/example/GenericUDFDBOutput.java

CREATE TEMPORARY FUNCTION dboutput AS 'hive.udf.GenericUDFDBOutput';

用法：SELECT dboutput ( 'jdbc:mysql://EBPPTEST01:3306/db', 'root', '111111', 'INSERT IGNORE INTO mysql_table(merabbr,merchantcd) VALUES (?,?)', merabbr, merchantcd ) FROM hive_table

2. Sqoop-HCatalog

安装Sqoop，Hive-0.11.0版本集成了HCatalog

用法sqoop export --connect jdbc:mysql://EBPPTEST01:3306/db --username root --password 111111 --hive-partition-key statdate --hive-partition-value 2013-08-12 -table mysql_table --hcatalog-table hive_mysql

3. Sqoop

用法:sqoop export --connect jdbc:mysql://EBPPTEST01:3306/db --username root --password 111111 --table mysql_table --export-dir /user/hive/warehouse/hive_table/dt=2013-08-14