Hive ACID事务表

环境:hive 3.1.0
执行引擎:hive on tez

  1. 什么是hive ACID?
    hive官网对于ACID的介绍:
    https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions
    中文文档关于ACID的介绍:
    https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference/Hive_Transactions.html
    其实和传统数据库中所说的ACID有异曲同工之妙:
  2. 原子性(Atomicity
    原子性是指事务是一个不可分割的工作单位,事务中的操作要么全部成功,要么全部失败。
  3. 一致性(Consistency
    事务必须使数据库从一个一致性状态变换到另外一个一致性状态。
    举例说明:张三向李四转100元,转账前和转账后的数据是正确的状态,这就叫一致性,如果出现张三转出100元,李四账号没有增加100元这就出现了数据错误,就没有达到一致性。
  4. 隔离性(Isolation
    事务的隔离性是多个用户并发访问数据库时,数据库为每一个用户开启的事务,不能被其他事务的操作数据所干扰,多个并发事务之间要相互隔离。
  5. 持久性(Durability
    持久性是指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来即使数据库发生故障也不应该对其有任何影响。
    其中事务Transaction)是访问和更新数据库的程序执行单元;事务中可能包含一个或多个sql语句,而ACID是衡量事务的4个维度。hive0.13之后提供了行级别ACID,
    常见的INSERT、UPDATE和DELETE已经在hive0.14开始支持,先创建一张默认结构的hive表
    create table test.trans_table1(column1 string,column2 string);
    SHOW CREATE TABLE查看其建表语句:
CREATE TABLE `test.trans_table1`(
  `column1` string, 
  `column2` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
  'hdfs://ambari-hadoop1:8020/warehouse/tablespace/managed/hive/test.db/trans_table1'
TBLPROPERTIES (
  'bucketing_version'='2', 
  'transactional'='true', 
  'transactional_properties'='default', 
  'transient_lastDdlTime'='1703744670')

发现其配置项中有三个和事务相关的选项:

  • transactional:是否启用表的事务支持
  • transactional_properties:指定了事务的属性
    1.default: 默认值,表示支持插入、更新、删除操作。
    2.insert_only: 仅支持插入操作,不支持更新和删除。
    3.insert_only_external: 仅支持插入操作,对于外部表。
  • transient_lastDdlTime:最后一次DDL日期时间
    hive默认创建存储格式为ORC的事务表,对表执行一次insert values操作发现增加了一个delta开头的目录
    Hive ACID事务表_第1张图片
    其下有两个文件_orc_acid_version和bucket_00000
    Hive ACID事务表_第2张图片
    而delete操作也同样会生成目录:

    而UPDATE操作则会同时生成两个目录:
    Hive ACID事务表_第3张图片
    先创建一个delete前缀的目录,再创建一个代表insert的delta前缀目录,即先删除后插入。
    以上目录的命名规范格式为 delta_minWID_maxWID_stmtID,即 delta 前缀、写事务的 ID 范围、以及语句 ID。
  • 针对写事务(INSERT、DELETE 等),Hive 还会创建一个写事务 ID(Write ID),该 ID 在表范围内唯一。
  • 语句 ID(Statement ID)则是当一个事务中有多条写入语句时使用的,用作唯一标识。
    _orc_acid_version 的内容是 2,即当前 ACID 版本号是 2。而bucket开头的文件则是实际的数据内容,由于存储格式是ORC,可以使用以下方法查看:
    hive --orcfiledump /warehouse/tablespace/managed/hive/test.db/trans_table1/delta_0000001_0000001_0000/bucket_00000
    可以查看相关元数据,但并非数据本身,这里不做过多解析:
    Hive ACID事务表_第4张图片
    hive --orcfiledump -d /warehouse/tablespace/managed/hive/test.db/trans_table1/delta_0000001_0000001_0000/bucket_00000
    则可以查看相关数据内容:
    Hive ACID事务表_第5张图片
  • operation 0 表示插入,1 表示更新,2 表示删除。由于使用了 split-update,UPDATE 是不会出现的;
  • originalTransaction是该条记录的原始写事务 ID。对于 INSERT 操作,该值和 currentTransaction是一致的。对于 DELETE,则是该条记录第一次插入时的写事务 ID;
  • bucket是一个 32 位整型,由 BucketCodec 编码,各个二进制位的含义为:
    1-3 位:编码版本,当前是 001;
    4 位:保留;
    5-16 位:分桶 ID,由 0 开始。分桶 ID 是由 CLUSTERED BY 子句所指定的字段、以及分桶的数量决定的。该值和 bucket_N 中的 N 一致;
    17-20 位:保留;
    21-32 位:语句 ID;
    举例来说,整型 536936448 的二进制格式为 00100000000000010000000000000000,即它是按版本 1 的格式编码的,分桶 ID 为 1;
  • rowId 是一个自增的唯一 ID,在写事务和分桶的组合中唯一;
  • currentTransaction 当前的写事务 ID;
  • row 具体数据。对于 DELETE 语句,则为 null
    还可以通过 row__id 这个虚拟列进行查看(originalTransaction, bucket, rowId)
    select row__id,column1,column2 from test.trans_table1;
    Hive ACID事务表_第6张图片
    注意row__id是两个"_"符合。
    还有个问题由于每次DML的执行都会产生对应小文件,随着时间推移DML执行次数的增多,会产生越来越多的小文件,而过多的小文件对HDFS会产生不利的影响,比如增加namenode的内存占用等等,为此hive引入了压缩Compaction的概念。
    Minor Compaction 会将所有的 delta 文件压缩为一个文件,delete 也压缩为一个。压缩后的结果文件名中会包含写事务 ID 范围,同时省略掉语句 ID。压缩过程是在 Hive Metastore 中运行的,会根据一定阈值自动触发。我们也可以使用如下语句人工触发:
    ALTER TABLE trans_table1 COMPACT 'minor';
    压缩前:
    Hive ACID事务表_第7张图片
    压缩后:
    Hive ACID事务表_第8张图片
    查看压缩后的文件发现,插入操作产生的数据都被合并起来:
    Hive ACID事务表_第9张图片
    同样删除操作的数据也被合并在了一起:

    因此Minor Compaction 不会删除任何数据。
    Major Compaction则会将所有文件合并为一个文件,以 base_N 的形式命名,其中 N 表示最新的写事务 ID。已删除的数据将在这个过程中被剔除。
    major前:
    Hive ACID事务表_第10张图片
    major后:

      需要注意的是,在 Minor 或 Major Compaction 执行之后,原来的文件不会被立刻删除。这是因为删除的动作是在另一个名为 Cleaner 的线程中执行的。因此,表中可能同时存在不同事务 ID 的文件组合,这在读取过程中需要做特殊处理。
    有了大致的了解后,是否任意存储格式的表均具有ACID特性?
    首先TextFile,默认建表语句中关于事务的配置项:
    'transactional'='true', 'transactional_properties'='insert_only',
    可以执行insert操作,但是无法执行delete和update,报错:
    Error: Error while compiling statement: FAILED: SemanticException [Error 10414]: Attempt to do update or delete on table test.text_table1 that is insert-only transactional (state=42000,code=10414)
    尝试修改transactional_properties值为default,但是无法修改:
    Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot convert an ACID table to non-ACID (state=08S01,code=1)
    官网的意思是目前仅支持ORC格式的hive表:
    Hive ACID事务表_第11张图片
    此外Hive ACID还存在一些限制,感兴趣可以进一步了解:
    https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#:~:text=SQL%20MERGE%20statement.-,Limitations,-BEGIN%2C%20COMMIT

本博客为学习所记,意在备忘所学过程,故有引用之处,其中参考博客有:

  1. 深入学习MySQL事务:ACID特性的实现原理https://www.cnblogs.com/kismetv/p/10331633.html

  2. 实战 | 深入理解 Hive ACID 事务表
    https://blog.csdn.net/zjerryj/article/details/91470261

你可能感兴趣的:(hive)