HIVE 增加修改删除字段

HIVE 增加修改删除字段

    • 非分区表
      • 增加字段
      • 修改字段(修改字段名称、类型、注释、顺序)
      • 删除字段
    • 分区表
      • 新增字段

非分区表

增加字段

增加字段可以使我们在所有字段之后和分区字段之间增加一个字段
HIVE 增加修改删除字段_第1张图片
使用格式

ALTER TABLE table_name 
  ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
  [CASCADE|RESTRICT]                         -- (Note: Hive 1.1.0 and later)

使用示例,在 user_info 中增加 user_addr 字段,现有的表数据如下:
在这里插入图片描述

ALTER TABLE user_info ADD COLUMNS (user_addr string COMMENT '用户地址');

HIVE 增加修改删除字段_第2张图片
当我增加新的字段 user_addr 后,新增字段前的数据该列显示为 NULL ,那么如果我们新增一条数据呢?

INSERT INTO TABLE user_info
SELECT '003' as user_id, 'jack' as user_name, '34' as age, '广东深圳' as user_addr
;

结论:非分区表新增字段后,原有数据的该字段会显示为 NULL,新增的数据会按新增的数据进行展示
HIVE 增加修改删除字段_第3张图片
还没结束,我们向 user_info 再新增 user_appr 字段的时候再加下这两个 CASCADE、RESTRICT 属性,看看会发生什么

ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') CASCADE;

在这里插入图片描述
添加 CASCADE 后执行失败,说明非分区表再添加字段时不能加CASCADE

ALTER TABLE user_info ADD COLUMNS (user_appr string COMMENT '用户偏好') RESTRICT;

在这里插入图片描述
添加RESTRICT 后执行成功,该语法具体含义后面再述

修改字段(修改字段名称、类型、注释、顺序)

修改前
在这里插入图片描述

修改字段 user_addr 的字段名称为 user_address

ALTER TABLE user_info CHANGE user_addr user_address string;

在这里插入图片描述
修改 user_address 的顺序,将该段放置在 user_appr

# 不支持,执行报错
# 语义:将user_address 更改为 user_address,类型为 string,放置在 user_appr 后面
ALTER TABLE user_info CHANGE is_active is_active string AFTER user_appr;

修改 is_active 字段的类型为 string,修改前为 int

ALTER TABLE user_info CHANGE is_active is_active string;

修改 user_address 字段的中文注释

ALTER TABLE user_info CHANGE user_address user_address STRING COMMENT '修改字段注释';

注意:以上的修改,仅仅是实现了修改元数据,实际的 HDFS 文件并没有修改,这个很关键

删除字段

HIVE 不能直接删除字段,且删除字段的操作有很大的局限性,一般尽量删除后面的字段,但是如果直接从中间删除,可能会出出现错位的情况。而且尽量不要有删除字段的操作

HIVE 增加修改删除字段_第4张图片

-- 示例:删除 user_age 字段
ALTER TABLE user_info REPLACE COLUMNS (user_id STRING, user_name STRING);

HIVE 增加修改删除字段_第5张图片
看到结果,我们发现 user_age 字段确实已经被移除了,这时我们如果执行添加 user_age 会发生什么情况

ALTER TABLE user_info ADD COLUMNS (user_age STRING COMMENT '用户年龄');

HIVE 增加修改删除字段_第6张图片
添加字段后,我们发现,之前该列的数据重新恢复了,并不是我们期望的 NULL 。因此,我们可以得出结论:HIVE 删除字段只是修改了元数据而已,真实的文件数据并没有被删除

分区表

新增字段

首先我们创建一张分区表

CREATE TABLE IF NOT EXISTS cust_info
(
 user_id      string  COMMENT '用户ID'
,user_name    string  COMMENT '用户姓名'
,user_age     string  COMMENT '用户年龄'
)
COMMENT '客户信息表'
PARTITIONED BY (ds STRING COMMENT'分区')
;

INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age
;

我们新增一个字段 user_addr 字段试试

ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址')
;

新增完毕后,我们发现 20220223 分区中的数据 user_addr 列已经出现了,而且该列的值全部为 NULL
HIVE 增加修改删除字段_第7张图片
不符合我们的期望,我们来重新对该分区覆盖插入数据,并对该分区插入数据,对该列赋值

INSERT OVERWRITE TABLE cust_info partition(ds = '20220223')
SELECT '001' as user_id, 'kyle' as user_name, '23' as user_age, '中国深圳' as user_addr
UNION ALL
SELECT '002' as user_id, 'lisa' as user_name, '25' as user_age, '中国北京' as user_addr
;

插入数据后重新查看,发现该列的值仍然为 NULL ,这是怎么回事

在这里插入图片描述
看下官方的文档

HIVE 增加修改删除字段_第8张图片
大概的意思为:新增字段时,默认为 RESTRICT ,这样只会修改元数据,并不会对历史分区生效,因此在刷历史数据的时候不生效。为了对历史分区生效,需要增加 CASCADE。只对历史分区有影响,新建分区则没有影响

我们删除表结构,然后重新插入数据并执行新增字段操作试试

ALTER TABLE cust_info ADD COLUMNS (user_addr string COMMENT '用户地址') CASCADE
;

HIVE 增加修改删除字段_第9张图片
历史分区数据重新刷入成功

你可能感兴趣的:(Hive,hadoop)