sqoop mysql导入hive 数值类型变成null的问题分析

问题描述：mysql通过sqoop导入到hive表中，发现有个别数据类型为int或tinyint的列导入后数据为null。设置各种行分隔符，列分隔符都没有效果。

 

问题分析：hive中单独将有问题的那几列的数据类型设置为string类型，重新导入后发现，里面的值变成true或者false。

 

由此猜想，sqoop在导入的时候，将那几列的数据转换成了bool类型，问题产生的原因和hive建表语句无关，只能发生在sqoop端或者mysql端。

经过查看，发现mysql中有问题的那几列数据类型都是tinyint(1),这说明什么，说明那几列的数值长度为1。猜想sqoop将数值长度为1的数据类型，认为是bool类型，导入的时候会自动转换成bool类型。

 

验证：在sqoop的导入sql语句中，单独对那几个问题列进行数据类型转换（CONVERT(match_type,SIGNED)），然后再导入hive，发现数据可以正常显示，一点问题也没有，

 

解决方法：sqoop导入的时候，将数据类型为1个字符长度的数值类型的列，进行格式转换（CONVERT(match_type,SIGNED)）

 

转载于:https://www.cnblogs.com/guozhen/p/9836459.html