第137期 Oracle的数据生命周期管理（20240123）

第137期 Oracle的数据生命周期管理（20240123）

作者：胖头鱼的鱼缸（尹海文）
Oracle ACE Associate: Database（Oracle与MySQL）
网思科技 DBA总监
10年数据库行业经验，现主要从事数据库服务工作
拥有OCM 11g/12c/19c、MySQL 8.0 OCP、Exadata、CDP等认证
墨天轮MVP、认证技术专家，ITPUB认证专家，OCM讲师
圈内拥有“总监”、“保安”、“国产数据库最大敌人”等称号，非著名社恐（社交恐怖分子）
公众号：胖头鱼的鱼缸；CSDN：胖头鱼的鱼缸（尹海文）；墨天轮：胖头鱼的鱼缸；ITPUB：yhw1809。
除授权转载并标明出处外，均为“非法”抄袭。

上周在《2024阿里云PolarDB开发者大会》下午的“开源生态”分会场上，看到一个有趣的语句：

即自动分区模式下，在超过12个月后，对应分区会被干掉（这里对PolarDB不是很熟悉，不确定是干掉还是归档还是其他操作）。周四在去Oracle北京办公室交流的时候提到了这件事情，O记诗人屈继成老师就提出，Oracle也有类似的功能，本周反蓉后也对相关的技术进行了学习。
本期大部分内容来自于MOS文档《Information Lifecycle Management (ILM), Heat Map, Automatic Data Optimization (ADO)(Doc ID 1612385.1)》及其引申的相关内容。

1 ILM

几乎所有行业的数据量都在快速增长。数据的快速增长给IT带来了巨大的成本和性能挑战。
尽管存储成本不断下降，但快速增长的数据量依然使存储成为大多数IT预算快速增长的主要原因。此外，数据的快速增长使其难以满足性能要求，同时在预算范围内。
ILM，Information Lifecycle Management，信息生命周期管理，旨在根据企业当前的业务和性能需求，通过将数据存储在不同的存储和压缩层来解决这些难题。这种方法提供了优化存储以实现成本节约和最大性能的可能性。
ILM是应用策略以在信息的整个使用寿命内对其进行有效管理的做法。ILM包括“一行”从开始到结束的每一个阶段，它包括用于使信息的业务价值与最适当、最经济高效的IT基础架构保持一致的策略、流程、操作和工具，从数据设计到最终处置。从Oracle 12c开始，可以使用自动数据优化（Automatic Data Optimization，ADO）创建策略，并根据这些策略自动执行操作，以实施ILM策略。ADO利用Heat Map收集的使用情况统计信息，通过分区、高级行压缩和混合列压缩等方式满足ILM策略要求。

2 Heat Map

Heat Map是Oracle Database 12c新增的一项功能，可在行和段级别存储系统生成的数据使用情况统计信息，这些信息可用于自动压缩和移动数据，以降低存储成本、提高性能并优化Oracle数据库存储。Heat Map和ADO结合使用，可以根据数据的使用情况自动执行压缩和存储策略。段级别的Heat Map跟踪表和分区的上次修改和访问时间；行级别Heat Map则跟踪行的修改时间。heat Map一旦启用，就会自动收集段和行级别的统计信息，这些统计信息可用于定义压缩和存储策略，这些策略将在数据的整个生命周期中自动维护。Heat Map跳过为系统任务完成的内部访问所要产生的记录即自动排除Stats Gathering、DDL或Table Redefinitions。
通过以下SQL开启Heat Map：

ALTER SYSTEM SET HEAT_MAP = ON;
该参数默认为OFF。

V$HEAT_MAP_SEGMENT视图显示段的实时访问信息；而ALL_, DBA_和USER_HEAT_MAP_SEGMENT视图则显示用户所有可见段的最近段访问时间；而ALL_, DBA_, and USER_HEAT_MAP_SEG_HISTOGRAM则显示用户所有可见段的访问信息；DBA_HEATMAP_TOP_OBJECTS视图则显示Top 1000对象（object）的Heat Map信息；DBA_HEATMAP_TOP_TABLESPACES视图显示Top 1000表空间的Heat Map信息。

3 ADO

ADO，Automatic Data Optimization，自动数据优化，允许您创建数据压缩（智能压缩）和数据移动策略，以实现数据存储调整和压缩分层。智能压缩是指利用热图信息将压缩策略和压缩级别与实际数据使用情况相关联的能力。Oracle在维护窗口期间评估ADO策略，并使用Heat Map收集的信息来确定要执行的操作。所有ADO操作都是在后台自动执行的，不需要用户干预。ADO策略可以在段或行级别为表和表分区指定——当满足策略标准时，策略将在后台自动执行，也可以按需执行。ADO策略上的条件允许组织指定哪些条件将启动ADO操作，例如不访问数据或不修改数据，以及策略何时生效，例如，在“n”天或数月或数年不修改后，或在行或分区创建后“n”天后或数月，或包含对象的表空间满足预定义的表空间填充阈值时。您不局限于热图数据：您还可以使用PL/SQL函数创建自定义条件，扩展ADO的灵活性，使用您自己的数据来确定何时移动或压缩数据。Heat Map和ADO需要Advanced Compression Option。
下面是MOS文档提供的一个栗子：

/* Create an example table with an ILM ADO policy */
CREATE TABLE <table name>
(PROD_ID NUMBER NOT NULL,
CUST_ID NUMBER NOT NULL,
TIME_ID DATE NOT NULL,
CHANNEL_ID NUMBER NOT NULL,
PROMO_ID NUMBER NOT NULL,
QUANTITY_SOLD NUMBER(10,2) NOT NULL,
AMOUNT_SOLD NUMBER(10,2) NOT NULL )
PARTITION BY RANGE (time_id)
( PARTITION sales_q1_2012 VALUES LESS THAN (TO_DATE('01-APR-2012','dd-MON-yyyy')),
PARTITION sales_q2_2012 VALUES LESS THAN (TO_DATE('01-JUL-2012','dd-MON-yyyy')),
PARTITION sales_q3_2012 VALUES LESS THAN (TO_DATE('01-OCT-2012','dd-MON-yyyy')),
PARTITION sales_q4_2012 VALUES LESS THAN (TO_DATE('01-JAN-2013','dd-MON-yyyy')) )
ILM ADD POLICY COMPRESS FOR ARCHIVE HIGH SEGMENT
AFTER 12 MONTHS OF NO ACCESS;

/* View the existing ILM ADO polices */
SELECT SUBSTR(policy_name,1,24) POLICY_NAME, policy_type, enabled
FROM USER_ILMPOLICIES;

POLICY_NAME POLICY_TYPE ENABLE
------------------------ ------------- ------
P1 DATA MOVEMENT YES

关于这个栗子就不做过多解释了。根据Heat Map收集的数据，再加上ADO提供的自动化策略，可以轻松地为智能压缩分层和存储分层实施ILM策略。Oracle高级压缩和Oracle分区选项结合在一起，通过更好地优化存储基础架构，提供了IT部门经济高效的信息管理，同时还保持了业务所需的性能和可扩展性。

4 优点

在数据库级别工作，不需要更改应用程序
减少所有类型数据的磁盘空间需求
允许您根据活动模式自动将数据移动到成本较低的存储中
通过在高性能存储上只保留活动数据来减少查询时间
提高最可靠存储上关键信息的可用性

更多关于ILM、Heat Map和ADO的内容可以查看官方文档Managing and Maintaining Time-Based Information (https://docs.oracle.com/en/database/oracle/oracle-database/19/vldbg/time-based-info.html#GUID-0193CE0F-4D9A-4D6F-8B19-E471DE94107C)

5 对比

相较于PolarDB提供的分区生命周期解决方案方案，Oracle的ILM提供了更加精细的数据处置方案，同时可操作对象更多、方式也更多（但也可能是我对PolarDB了解不够），可以实现对行或分区按照时间、访问、表空间用量等方式实现压缩、数据移动等操作。
但PolarDB有一点完胜ILM，那就是SQL真心简单，易读易用易维护。

总结

通过PolarDB的分区生命周期解决，进而了解Oracle的数据生命周期管理。
老规矩，知道写了些啥。