大数据bug-sqoop(一:同步mysql类型为tinyint到hive)

一:为什么在mysql会出现tinyint类型?

因为在mysql中,不存在布尔类型,所以使用tinyint来代表布尔类型。
但是在同步到hive中,也会显示出来布尔类型,就是true和false。

二:怎么做?

  1. 可以在mysql中在建立一张表,将新建立的表修改为int类型,之后在进行同步。

  2. 修改sqoop的同步脚本。
    官网解释如下:

    Mysql中存在tinyint(1)时,在数据导入到HDFS时,该字段默认会被转化为boolean数据类型,导致数据内容丢失(都变为NULL)。

    解决方案:

    在–connect参数后的jdbc连接上添加参数:tinyInt1isBit=false

    注意:

    若有多个参数,需要使用双引号将整个参数值括起来

    如:–connect “jdbc:mysql://ip:3306/db?serverTimezone=Asia/Shanghai&tinyInt1isBit=false”

你可能感兴趣的:(bug,hdfs,big,data,sqoop)