sqoop导hive数据到mysql卡死在INFO mapreduce.Job: map 100% reduce 0%

阅读更多

       用sqoop将hive里面的数据导出到mysql里去，一种情况是mapreduce 程序卡住，INFO mapreduce.Job: map 100% reduce 0%

      另一种情况是：报这个错误：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xBB' for column

      经检查发现，hive的数据里面有图片类型的数据，我也是醉了，折腾了一天，主要原因是MySQL里UTF8编码最多只能支持3个字节，而Emoji表情字符使用的UTF8编码，很多都是4个字节，有些甚至是6个字节。

     解决的方案有两种： 
     一.使用utf8mb4的mysql编码来容纳这些字符。 
     二.过滤掉这些特殊的表情字符。

     我选用的是方案一

 

     参考资料

    1.https://github.com/ZhangRuige/easyDataInsightV1.0/wiki/map-reduce%E6%89%A7%E8%A1%8Csqoop%E6%93%8D%E4%BD%9C%E6%97%B6%E8%B6%85%E6%97%B6%E7%9A%84%E9%97%AE%E9%A2%98

    2.http://www.cnblogs.com/lowwen/p/5645242.html

    3.http://stackoverflow.com/questions/23670754/exception-java-sql-sqlexception-incorrect-string-value-xf0-x9f-x92-xbc-for