Hive的ACID表

在 Hive 中为表启用 ACID(Atomicity, Consistency, Isolation, Durability)功能会将表转变为事务表,提供了数据一致性、事务支持和并发控制等优势,但同时也会对存储格式、元数据和性能产生一定的影响。在决定是否启用 ACID 功能时,需要权衡数据一致性的需求以及对性能和资源的影响。

事务表分为两种,一种是ORC格式,能完整的支持CRUD操作(增删改查),一种是普通的TextFile文件格式,只符合Insert-only特性.

ACID含义:

  1. 原子性(Atomicity):事务要么完全执行,要么完全回滚,不存在中间状态。Hive ACID 表支持原子性操作,确保在事务提交之前不会暴露给其他查询。
  2. 一致性(Consistency):事务将数据从一个一致状态转移到另一个一致状态。在 Hive ACID 表中,对于并发事务,系统会使用锁定机制来保证数据的一致性。
  3. 隔离性(Isolation):并发事务之间应该是隔离的,一个事务的操作不应该对其他事务造成影响。Hive ACID 表通过锁定和版本控制来实现隔离性。
  4. 持久性(Durability):一旦事务提交,其结果应该是持久的,即使在系统故障的情况下也不会丢失。Hive ACID 表通过将数据持久化到可靠的存储介质(如 HDFS)来确保持久性。 以下是在启用 ACID 功能时可能遇到的几个方面的变化:
  1. 存储格式:启用 ACID 功能后&#

你可能感兴趣的:(hadoop,hive,hadoop,数据仓库)