Hive--对空值和NULL的处理

问题描述

Hive中默认将NULL存为\N，NULL类型的字符串如何检索？

创建一个测试表及准备测试数据，SQL如下：

create table test_null (id int, age string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

测试数据如下：

1,23
2,24c
3,32d
4,30
5,NULL
6,\N

将数据Load到test_null表中显示如下：

image.png

如上图所5、6两条数据均显示的为NULL，通过数据我们无法真实的区别那条数据的age真正的为空。

解决方案

通过指定查询条件可以检索出空值和NULL类型字符串数据
使用is null可以检索出存储为\N的数据（即id为6的这条数据）
使用=’NULL’可以检索出为NULL字符串的数据（即id为5的这条数据）

1 可以通过建表语句中指定Hive保存和标识NULL，也可以通过alter修改已存在的表，建表指定方式如下：

create table test_null_1 (id int, age string) 
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
NULL DEFINED AS''
STORED AS TEXTFILE;

2 在Hive中是通过serialization.null.format参数来保存和标识NULL，通过将表的该参数修改为NULL表示为空值

alter table test_null set serdeproperties ('serialization.null.format' = 'NULL');

总结

1.Hive在对表进行Put和Load数据操作时，Hive是不支持数据类型的校验，在使用insert into table select…方式向表中插入数据时，对于类型异常的数据会在表中插入一个\N空的值（\N为Hive中默认NULL标识）

2.可以使用serialization.null.format来指定Hive中保存和标识NULL，可以设置为默认的\N，也可以为NULL或''

3.如果表中存在大量的NULL值，则在Hive的数据文件中会产生大量的\N数据，浪费存储空间，那我们可以将serialization.null.format设置为''

alter table test_null set serdeproperties('serialization.null.format' = '');