往hive导入查询数据全为NULL，但导入过程无报错，mysql/postgresql
今天导数遇到一个问题，通过sqoop import从 postgresql导数据到hive中后，发现查询出来全部都是空的：
检查导入命令，没有错啊：
[root@dthost25 ~]#
sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/xxxxdb --username xxxx --password xxxxxxx --table rule --hive-import --hive-database lmj_test --hive-table ori_yyts_rule --hive-overwrite --delete-target-dir --hive-drop-import-delims --hive-drop-import-delims --null-string '' --null-non-string '' -m5
执行过程中也没有报错，顺利导入数据：
#运行日志（部分）：
.......
File Input Format Counters
Bytes Read=0
File Output Format Counters
Bytes Written=869101
19/06/06 11:32:16 INFO mapreduce.ImportJobBase: Transferred 848.7314 KB in 24.4734 seconds (34.6797 KB/sec)
19/06/06 11:32:16 INFO mapreduce.ImportJobBase: Retrieved 1266 records.
19/06/06 11:32:16 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM "rule" AS t LIMIT 1
19/06/06 11:32:16 WARN hive.TableDefWriter: Column create_date had to be cast to a less precise type in Hive
19/06/06 11:32:16 WARN hive.TableDefWriter: Column last_update_date had to be cast to a less precise type in Hive
19/06/06 11:32:16 INFO hive.HiveImport: Loading uploaded data into Hive
19/06/06 11:32:17 INFO hive.HiveImport: Hive import complete.
那为什么会导致导入的数据全为NULL呢？
原因是在于，建hive表是设定的分割符不恰当，跟从postgresql导入过来的数据的分隔符不一样，所以导致hive切分不了数据，于是查询为空，但是这个过程，是不属于导入失败的，所以导入命令没有报错。
因为sqoop import实际上是把数据存放到hdfs对应路径上了，而不是“直接导入表里”，查询时，hive会从hdfs的路径上提取数据，再根据hive表的结构和定义，来向我们展示出类似表格的形式。因此，导入过程是不会报错的，但是因为hive定义的分隔符和存在hdfs上数据的分隔符不一致，所以查询是全为NULL的。
那么，是怎么样的不一样呢？
我们先来查询一下原来hive表的建表语句，用show create table xxxx即可:
hive> show create table ori_yyts_rule;
OK
createtab_stmt
CREATE TABLE `ori_yyts_rule`(
`id` int,
`version` int,
`create_date` string,
`create_man` string,
`description` string,
`ext1` string,
`ext2` string,
`ext3` string,
`ext4` string,
`kind_code` string,
`last_update_date` string,
`last_update_man` string,
`rule_code` string,
`rule_message1` string,
`rule_message2` string,
`rule_type` string,
`rule_val` string,
`is_accord` string,
`is_accord_message` string)
COMMENT 'rule_code explanation'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
'hdfs://dthost21:8020/user/hive/warehouse/lmj_test.db/ori_yyts_rule'
TBLPROPERTIES (
'COLUMN_STATS_ACCURATE'='true',
'numFiles'='5',
'numRows'='0',
'rawDataSize'='0',
'totalSize'='869101',
'transient_lastDdlTime'='1559791620')
Time taken: 0.214 seconds, Fetched: 37 row(s)
可以看到分隔符为：FIELDS TERMINATED BY '\t'，而从postgresql或者mysql来的数据的分隔符则应该为：FIELDS TERMINATED BY '\u0001'，那我们只要改回来就可以正常导入了。
这里有个小窍门，其实用sqoop import 从postgresql或者mysql导数据时，会在hive上自动建表，建表时的分隔符也会自动设为FIELDS TERMINATED BY '\u0001'。
引申一下，这个问题还会经常出现在从txt、excel或者其他数据源导入hive表这种场景下，原因其实都是原来的数据的分隔方式和hive表定义的不一致，大家以后遇到相似问题可以有意识地思考一下这种可能性。