3.优化和扩容计划:可通过分析日志文件中的数据以分析数据增长模式。
二、安装logminer
要安装logminer工具,必须首先要运行下面这样两个脚本:
l. $ORACLE_HOME/rdbms/admin/dbmslm.sql
2. $ORACLE_HOME/rdbms/admin/dbmslmd.sql
这两个脚本必须均以SYS用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包,该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包,该包用来创建数据字典文件。
SQL> @?/rdbms/admin/dbmslm.sql 程序包已创建。 授权成功。 同义词已创建。 SQL> @?/rdbms/admin/dbmslmd.sql 程序包已创建。 同义词已创建。 SQL> show user USER 为 "SYS"
例如,下面的sql语句: INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三');
logminer解释出来的结果将是下面这个样子, insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));
创建数据字典的目的就是让logminer引用涉及到内部数据字典中的部分时为他们实际的名字,而不是系统内部的16进制。数据字典文件是一个文本文件,使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化,影响到库的数据字典也发生变化,这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时,也必须要重新生成一遍被分析数据库的数据字典文件。首先指定数据字典文件的位置,也就是添加一个参数UTL_FILE_DIR,该参数值为服务器中放置数据字典文件的目录。重新启动数据库,使新加的参数生效,然后创建数据字典文件。
SQL> show user USER 为 "SYS" SQL> show parameter utl_file_dir NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ utl_file_dir string SQL> alter system set utl_file_dir='/u01/app/logminer' scope=spfile; 系统已更改。 SQL> shutdown immediate 数据库已经关闭。 已经卸载数据库。 ORACLE 例程已经关闭。 SQL> startup ORACLE 例程已经启动。 Total System Global Area 238530560 bytes Fixed Size 1335724 bytes Variable Size 150998612 bytes Database Buffers 83886080 bytes Redo Buffers 2310144 bytes 数据库装载完毕。 数据库已经打开。 SQL> show parameter utl_file_dir NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ utl_file_dir string /u01/app/logminer SQL> exec dbms_logmnr_d.build( 'dictionary.ora', '/u01/app/logminer'); PL/SQL 过程已成功完成。
开始之前
SQL> show user USER 为 "SYS" SQL> select SUPPLEMENTAL_LOG_DATA_MIN from v$database; SUPPLEME -------- NO SQL> alter database add supplemental log data; 数据库已更改。 SQL> select SUPPLEMENTAL_LOG_DATA_MIN from v$database; SUPPLEME -------- YESsupplemental logging(扩充日志):在通常情况下,redo log 只记录的进行恢复所必需的信息,但是这些信息对于我们使用redo log进行一些其他应用时是不够的,例如在 redo log中使用rowid唯一标识一行而不是通过Primary key,如果我们在另外的数据库分析这些日志并想重新执行某些dml时就可能会有问题,因为不同的数据库其rowid代表的内容是不同的。在这时候就需要一些额外的信息(columns)加入redo log,这就是supplemental logging。supplemental logging分为两个级别database_level and table_level,其中database_level级别分为两种,minimal supplemental logging and identification key logging,其中minimal supplemental logging不会显著增加系统的负担,但是identification key logging对系统负担比较大,在默认情况下oracle不会设置任何supplemental logging,但是如果要使用logminer,oracle建议至少设置minimal supplemental logging。我在使用logminer是,不设置minimal supplemental logging,从v$logmnr_contents中几乎得不到任何信息。
SQL> show user USER 为 "SYS" SQL> select * from v$log; GROUP# THREAD# SEQUENCE# BYTES BLOCKSIZE MEMBERS ARC STATUS FIRST_CHANGE# FIRST_TIME NEXT_CHANGE# NEXT_TIME ---------- ---------- ---------- ---------- ---------- ---------- --- ---------------- ------------- -------------- ------------ -------------- 1 1 67 52428800 512 1 YES INACTIVE 643449 14-12月-11 653614 15-12月-11 2 1 68 52428800 512 1 NO CURRENT 653614 15-12月-11 2.8147E+14 3 1 66 52428800 512 1 YES INACTIVE 614556 13-12月-11 643449 14-12月-11 SQL> select * from v$logfile; GROUP# STATUS TYPE MEMBER IS_ ---------- ------- ------- ------------------------------------------------------------ --- 1 ONLINE /u01/app/oracle/oradata/orcl/redo01.log NO 2 ONLINE /u01/app/oracle/oradata/orcl/redo02.log NO 3 ONLINE /u01/app/oracle/oradata/orcl/redo03.log NO SQL> exec dbms_logmnr.add_logfile('/u01/app/oracle/oradata/orcl/redo01.log', dbms_logmnr.new); PL/SQL 过程已成功完成。 SQL> exec dbms_logmnr.add_logfile('/u01/app/oracle/oradata/orcl/redo02.log', dbms_logmnr.addfile); PL/SQL 过程已成功完成。 SQL> exec dbms_logmnr.add_logfile('/u01/app/oracle/oradata/orcl/redo03.log', dbms_logmnr.addfile); PL/SQL 过程已成功完成。
删除列表中的日志文件:exec dbms_logmnr.add_logfile('/u01/app/oracle/oradata/orcl/redo03.log', dbms_logmnr.removefile);
关于这个日志文件列表中需要分析日志文件的个数完全由你自己决定,但这里建议最好是每次只添加一个需要分析的日志文件,在对该文件分析完毕后,再添加另外的文件。
3、使用logminer进行日志分析
(1)无限制条件
SQL> exec dbms_logmnr.start_logmnr( dictfilename=>'/u01/app/logminer/dictionary.ora'); PL/SQL 过程已成功完成。(2)有限制条件
如下面的例子,我们仅仅分析2004年9月18日的日志,:
SQL> EXECUTE dbms_logmnr.start_logmnrdictfilename => '/u01/app/logminer/dictionary.ora',starttime => to_date('2006-02-13 00:00:00','YYYY-MM-DD HH24:MI:SS'),endtime => to_date(''2004-9-18 23:59:59','YYYY-MM-DD HH24:MI:SS '));
也可以通过设置起始SCN和截至SCN来限制要分析日志的范围:
SQL> EXECUTE dbms_logmnr.start_logmnr( dictfilename => '/u01/app/logminer/dictionary.ora', startscn => 20, endscn => 50);
参数 | 参数类型 | 默认值 | 含义 |
StartScn | 数字型(Number) | 0 | 分析重作日志中SCN≥StartScn日志文件部分 |
EndScn | 数字型(Number) | 0 | 分析重作日志中SCN≤EndScn日志文件部分 |
StartTime | 日期型(Date) | 1998-01-01 | 分析重作日志中时间戳≥StartTime的日志文件部分 |
EndTime | 日期型(Date) | 2988-01-01 | 分析重作日志中时间戳≤EndTime的日志文件部分 |
DictFileName | 字符型(VARCHAR2) | 0 | 字典文件,该文件包含一个数据库目录的快照。使用该文件可以使得到的分析结果是可以理解的文本形式, |
4、观察分析结果(v$logmnr_contents)
一共有四个表,详细说明如下
V$LOGMNR_DICTIONARY-------查询使用的数据字典文件
SQL> select filename from v$logmnr_dictionary; FILENAME -------------------------------------------------- /u01/app/logminer/dictionary.ora
SQL> select * from v$logmnr_parameters; START_DATE REQUIRED_START END_DATE START_SCN REQUIRED_START_SCN END_SCN OPTIONS INFO STATUS -------------- -------------- -------------- ---------- ------------------ ---------- ---------- -------------------------------- ---------- 01-1月 -11 614556 0 0 0 0
SQL> select filename from v$logmnr_logs; FILENAME -------------------------------------------------- /u01/app/oracle/oradata/orcl/redo03.log /u01/app/oracle/oradata/orcl/redo01.log /u01/app/oracle/oradata/orcl/redo02.log
SQL> select operation,sql_redo,sql_undo from v$logmnr_contents where seg_owner='U1' and seg_name='TEST'; 未选定行operation 指的是操作 ,sql_redo 指的是实际操作,sql_undo 指的是用于取消的相反操作。
需要强调一点的是,视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的logminer存储都在PGA内存中,所有其他的进程是看不到它的,同时随着进程的结束,分析结果也随之消失。最后,使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务,此时PGA内存区域被清除,分析结果也随之不再存在。
SQL> exec dbms_logmnr.end_logmnr; PL/SQL 过程已成功完成。 SQL> select * from v$logmnr_contents; select * from v$logmnr_contents * 第 1 行出现错误: ORA-01306: 在从 v$logmnr_contents 中选择之前必须调用 dbms_logmnr.start_logmnr()
六、例子
首先用一个用户u1做一些dml操作:
SQL> show user USER 为 "U1" SQL> delete from t1 where id=3; 已删除 1 行。 SQL> insert into t1 values(3,'test'); 已创建 1 行。 SQL> commit; 提交完成。 SQL> update t1 set value = 'v3' where id = 3; 已更新 1 行。 SQL> commit; 提交完成。 SQL> select * from t1; ID VALUE ---------- ---------- 1 v1 2 v2 3 v3
开始分析:
SQL> show user USER 为 "SYS" SQL> alter system switch logfile; 系统已更改。 SQL> exec dbms_logmnr.add_logfile('/u01/app/oracle/flash_recovery_area/ORCL/archivelog/2011_12_15/o1_mf_1_80_7gmqb6t5_.arc', dbms_logmnr.new); PL/SQL 过程已成功完成。 SQL> exec dbms_logmnr.start_logmnr(dictfilename=>'/u01/app/logminer/dictionary.ora'); PL/SQL 过程已成功完成。
SQL> select filename from v$logmnr_dictionary; FILENAME -------------------------------------------------- /u01/app/logminer/dictionary.ora SQL> select * from v$logmnr_parameters; START_DATE REQUIRED_START END_DATE START_SCN REQUIRED_START_SCN END_SCN OPTIONS INFO STATUS -------------- -------------- -------------- ---------- ------------------ ---------- ---------- -------------------------------- ---------- 01-1月 -11 653614 0 0 0 0 SQL> select filename from v$logmnr_logs; FILENAME -------------------------------------------------- /u01/app/oracle/oradata/orcl/redo02.log SQL> select operation,sql_redo,sql_undo from v$logmnr_contents where seg_owner='U1' and seg_name='T1'; OPERATION SQL_REDO SQL_UNDO --------------- -------------------------------------------------- -------------------------------------------------- DELETE delete from "U1"."T1" where "ID" = '3' and "VALUE" insert into "U1"."T1"("ID","VALUE") values ('3','v = 'v3' and ROWID = 'AAAR3vAAFAAAACFAAC'; 3'); INSERT insert into "U1"."T1"("ID","VALUE") values ('3','t delete from "U1"."T1" where "ID" = '3' and "VALUE" est'); = 'test' and ROWID = 'AAAR3vAAFAAAACFAAB'; UPDATE update "U1"."T1" set "VALUE" = 'v3' where "VALUE" update "U1"."T1" set "VALUE" = 'test' where "VALUE = 'test' and ROWID = 'AAAR3vAAFAAAACFAAB'; " = 'v3' and ROWID = 'AAAR3vAAFAAAACFAAB'; SQL> select operation,sql_redo,sql_undo,seg_owner,seg_name from v$logmnr_contents; OPERATION SQL_REDO SQL_UNDO SEG_OWNER SEG_NAME --------------- -------------------------------------------------- -------------------------------------------------- --------------- --------------- START set transaction read write; DELETE delete from "U1"."T1" where "ID" = '3' and "VALUE" insert into "U1"."T1"("ID","VALUE") values ('3','v U1 T1 = 'v3' and ROWID = 'AAAR3vAAFAAAACFAAC'; 3'); INTERNAL INSERT insert into "U1"."T1"("ID","VALUE") values ('3','t delete from "U1"."T1" where "ID" = '3' and "VALUE" U1 T1 est'); = 'test' and ROWID = 'AAAR3vAAFAAAACFAAB'; COMMIT commit; START set transaction read write; UPDATE update "U1"."T1" set "VALUE" = 'v3' where "VALUE" update "U1"."T1" set "VALUE" = 'test' where "VALUE U1 T1 OPERATION SQL_REDO SQL_UNDO SEG_OWNER SEG_NAME --------------- -------------------------------------------------- -------------------------------------------------- --------------- --------------- = 'test' and ROWID = 'AAAR3vAAFAAAACFAAB'; " = 'v3' and ROWID = 'AAAR3vAAFAAAACFAAB'; COMMIT commit; 已选择8行。
结束分析:
SQL> exec dbms_logmnr.end_logmnr; PL/SQL 过程已成功完成。