LogMiner提供了一个处理重做日志文件并将其内容翻译成代表对数据库的逻辑操作的SQL语句的过程。LogMiner运行在Oracle版本8.1或者更高版本中。
一,如何使用Logminer:
先要安装logminer的两个包;以SYS用户运行下面两个脚本,其中第一个脚本dbmslm.sql用来创建DBMS_LOGMNR包,该包用来分析日志文件。第二个脚本dbmslmd.sql用来创建DBMS_LOGMNR_D包,该包用来创建数据字典文件。
D:/oracle/product/10.2.0/db_1/RDBMS/ADMIN>sqlplus /nolog
SQL*Plus: Release 10.2.0.4.0 - Production on星期五4月10 17:49:02 2009
Copyright (c) 1982, 2007, Oracle. All Rights Reserved.
SQL> conn sys/oracle as sysdba
已连接。
SQL>
SQL> @dbmslm.sql
程序包已创建。
授权成功。
SQL>
SQL> @dbmslmd.sql
程序包已创建。
二,创建数据字典文件
数据字典文件是一个文本文件,使用包DBMS_LOGMNR_D来创建,如果我们要分析的数据库中的表有变化(比如表结构有变化等),影响到库的数据字典也发生变化。另外一种情况是在分析另外一个数据库文件的重做日志时,也必须要重新生成一遍被分析数据库的数据字典文件。
首先需要修改参数UTL_FILE_DIR ,该参数值为服务器中放置数据字典文件的目录,10g中我们通过动态修改参数的方式来修改,然后重新启动数据库生效。其中logs_utl_file目录先期建立好。
SQL> alter system set UTL_FILE_DIR='d:/oracle/product/10.2.0/oradata/test/logs_utl_file' scope=spfile; 系统已更改。
SQL> shutdown immediate
数据库已经关闭。
已经卸载数据库。
ORACLE例程已经关闭。
SQL>
SQL> startup
ORACLE例程已经启动。
Total System Global Area 167772160 bytes
Fixed Size 1295608 bytes
Variable Size 125831944 bytes
Database Buffers 33554432 bytes
Redo Buffers 7090176 bytes
数据库装载完毕。
数据库已经打开。
SQL>
SQL> show parameter UTL_FILE
NAME TYPE
------------------------------------ -------------
VALUE
------------------------------
utl_file_dir string
d:/oracle/product/10.2.0/orada
ta/test/logs_utl_file
SQL>
然后创建数据字典文件:
BEGIN
dbms_logmnr_d.build(
dictionary_filename => ' logminer_dict.ora',
dictionary_location => ' D:/oracle/product/10.2.0/oradata/test/logs_utl_file');
END;
/
OK ,可以看到在logs_ult_file中已经生成了logminer_dict.ora数据字典文件。数据字典文件是可以打开的文本文件。有兴趣可以打开看看。
execute dbms_logmnr_d.build('shwdict.ora','d:/lick'); //本人使用的创建语句
创建数据字典是让logminer引用实际到内部数据字典中的部分是使用对象的名称,而不是系统内部的16进制的ID.
三,创建要分析的日志文件(在线日志或归档日志)的列表
(1)分析在线的重做日志
A。建立列表
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/test/redo01.log', ptions=>dbms_logmnr.new);
PL/SQL过程已成功完成。
B。添加其他日至文件到列表
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/test/redo02.log', ptions=>dbms_logmnr.addfile);
PL/SQL过程已成功完成。
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/test/redo03.log', ptions=>dbms_logmnr.addfile);
PL/SQL过程已成功完成。
(2)分析归档的重做日志
A。建立列表
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/archive/ARC00052_0684166863.001', ptions=>dbms_logmnr.new);
PL/SQL过程已成功完成。
B。添加其他日志文件到列表
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/archive/ARC00053_0684166863.001', ptions=>dbms_logmnr.addfile);
PL/SQL过程已成功完成。
如果你觉得不需要分析已经在列表中的在线或归档日志,可以通过removefile命令删除:
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/orad
ata/archive/ARC00053_0684166863.001', ptions=>dbms_logmnr.removefile);
PL/SQL过程已成功完成。
四,使用Logminer进行日志分析
无限制条件:
SQL> execute dbms_logmnr.start_logmnr(DictFileName=> 'D:/oracle/product/10.2.0/o
radata/test/logs_utl_file/logminer_dict.ora') ;
PL/SQL过程已成功完成。
有限制条件:
通过对过程DBMS_LOGMNR.START_LOGMNR中的时间或者SCN参数的设置,可以缩小分析日志文件的范围:
如我们仅仅分析2009年2月23日到2005年7月26日的日志:
SQL> execute dbms_logmnr.start_logmnr(
DictFileName => ' D:/oracle/product/10.2.0/o
radata/test/logs_utl_file/logminer_dict.ora ',
StartTime => to_date('2009-2-23 00:00:00','YYYY-MM-DD HH24:MI:SS')
EndTime => to_date(''2009-2-26 23:59:59','YYYY-MM-DD HH24:MI:SS '));
相关的参数如下:
参数参数类型默认值含义
StartScn数字型0分析重作日志中SCN≥StartScn日志文件部分
EndScn数字型0分析重作日志中SCN≤EndScn日志文件部分
StartTime日期型1998-01-01分析重作日志中时间戳≥StartTime的日志文件部分
EndTime日期型2988-01-01分析重作日志中时间戳≤EndTime的日志文件部分
DictFileName字符型字典文件该文件包含一个数据库目录的快照。
使用该文件可以使得到的分析结果是可以理解的文本形式,
而非系统内部的16进制
Options BINARY_INTEGER 0系统调试参数,实际很少使用
五,得到分析结果:
到现在为止,我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。
SELECT sql_redo FROM v$logmnr_contents;
如果我们仅仅想知道某个用户对于某张表的操作,可以通过下面的SQL查询得到,该查询可以得到用户TONY对表R_WIP_TST所作的一切工作。
SQL>; SELECT sql_redo FROM v$logmnr_contents WHERE username='TONY' AND tablename='R_WIP_TST';
需要强调一点的是,视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr' 这个会话的生命期中存在(如果执行了DBMS_LOGMNR.END_LOGMNR分析结果将消失)。这是因为所有的LogMiner存储都在PGA内存中,所有其他的进程是看不到它的,同时随着进程的结束,分析结果也随之消失。
如果需要,可以通过removefile命令删除日志分析文件。
SQL> execute dbms_logmnr.add_logfile(LogFileName=>'d:/oracle/product/10.2.0/oradata/archive/ARC00052_0684166863.001', ptions=>dbms_logmnr.removefile);
六,使用DBMS_LOGMNR.END_LOGMNR结束日志分析过程,释放内存。
最后,使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务,此时PGA内存区域被清除,分析结果也随之不再存在。
SQL> execute dbms_logmnr.end_logmnr;
作为Oracle DBA,我们有时候需要追踪数据误删除或用户的恶意操作情况,此时我们不仅需要查出执行这些操作的数据库账号,还需要知道操作是由哪台客户端(IP地址等)发出的。针对这些问题,一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件。本文将就Oracle日志分析技术做深入探讨。
一、如何分析即LogMiner解释
从目前来看,分析Oracle日志的唯一方法就是使用Oracle公司提供的LogMiner来进行, Oracle数据库的所有更改都记录在日志中,但是原始的日志信息我们根本无法看懂,而LogMiner就是让我们看懂日志信息的工具。从这一点上看,它和tkprof差不多,一个是用来分析日志信息,一个则是格式化跟踪文件。通过对日志的分析我们可以实现下面的目的:
1、查明数据库的逻辑更改;
2、侦察并更正用户的误操作;
3、执行事后审计;
4、执行变化分析。
不仅如此,日志中记录的信息还包括:数据库的更改历史、更改类型(INSERT、UPDATE、DELETE、DDL等)、更改对应的SCN号、以及执行这些操作的用户信息等,LogMiner在分析日志时,将重构等价的SQL语句和UNDO语句(分别记录在V$LOGMNR_CONTENTS视图的 SQL_REDO和SQL_UNDO中)。这里需要注意的是等价语句,而并非原始SQL语句,例如:我们最初执行的是“delete a where c1 <>cyx;”,而LogMiner重构的是等价的6条DELETE语句。所以我们应该意识到V$LOGMNR_CONTENTS视图中显示的并非是原版的现实,从数据库角度来讲这是很容易理解的,它记录的是元操作,因为同样是“delete a where c1 <>cyx;”语句,在不同的环境中,实际删除的记录数可能各不相同,因此记录这样的语句实际上并没有什么实际意义,LogMiner重构的是在实际情况下转化成元操作的多个单条语句。
另外由于Oracle重做日志中记录的并非原始的对象(如表以及其中的列)名称,而只是它们在Oracle数据库中的内部编号(对于表来说是它们在数据库中的对象ID,而对于表中的列来说,对应的则是该列在表中的排列序号:COL 1, COL 2 等),因此为了使LogMiner重构出的SQL语句易于识别,我们需要将这些编号转化成相应的名称,这就需要用到数据字典(也就说LogMiner本身是可以不用数据字典的,详见下面的分析过程),LogMiner利用DBMS_LOGMNR_D.BUILD()过程来提取数据字典信息。
LogMiner包含两个PL/SQL包和几个视图:
1、dbms_logmnr_d包,这个包只包括一个用于提取数据字典信息的过程,即dbms_logmnr_d.build()过程。
2、dbms_logmnr包,它有三个过程:
add_logfile(name varchar2, options number) - 用来添加/删除用于分析的日志文件;
start_logmnr(start_scn number, end_scn number, start_time number,end_time number, dictfilename varchar2, options number) - 用来开启日志分析,同时确定分析的时间/SCN窗口以及确认是否使用提取出来的数据字典信息。
end_logmnr() - 用来终止分析会话,它将回收LogMiner所占用的内存。
与LogMiner相关的数据字典。
1、v$logmnr_dictionary,LogMiner可能使用的数据字典信息,因logmnr可以有多个字典文件,该视图用于显示这方面信息。
2、v$logmnr_parameters,当前LogMiner所设定的参数信息。
3、v$logmnr_logs,当前用于分析的日志列表。
4、v$logmnr_contents,日志分析结果。
二、Oracle9i LogMiner的增强:
1、支持更多数据/存储类型:链接/迁移行、CLUSTER表操作、DIRECT PATH插入以及DDL操作。在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句(CREATE USER除外,其中的密码将以加密的形式出现,而不是原始密码)。如果TX_AUDITING初始化参数设为TRUE,则所有操作的数据库账号将被记录。
2、提取和使用数据字典的选项:现在数据字典不仅可以提取到一个外部文件中,还可以直接提取到重做日志流中,它在日志流中提供了操作当时的数据字典快照,这样就可以实现离线分析。
3、允许对DML操作按事务进行分组:可以在START_LOGMNR()中设置COMMITTED_DATA_ONLY选项,实现对DML操作的分组,这样将按SCN的顺序返回已经提交的事务。
4、支持SCHEMA的变化:在数据库打开的状态下,如果使用了LogMiner的DDL_DICT_TRACKING选项,Oracle9i的 LogMiner将自动对比最初的日志流和当前系统的数据字典,并返回正确的DDL语句,并且会自动侦察并标记当前数据字典和最初日志流之间的差别,这样即使最初日志流中所涉及的表已经被更改或者根本已经不存在,LogMiner同样会返回正确的DDL语句。
5、在日志中记录更多列信息的能力:例如对于UPDATE操作不仅会记录被更新行的情况,还可以捕捉更多前影信息。
6、支持基于数值的查询:Oracle9i LogMiner在支持原有基于元数据(操作、对象等)查询的基础上,开始支持基于实际涉及到的数据的查询。例如涉及一个工资表,现在我们可以很容易地查出员工工资由1000变成2000的原始更新语句,而在之前我们只能选出所有的更新语句。
三、Oracle8i/9i的日志分析过程
LogMiner只要在实例起来的情况下都可以运行,LogMiner使用一个字典文件来实现Oracle内部对象名称的转换,如果没有这个字典文件,则直接显示内部对象编号,例如我们执行下面的语句:
delete from C.A where C1 = ‘gototop’ and ROWID = AAABg1AAFAAABQaAAH; |
SQL> show parameter utl |
exec dbms_logmnr_d.build(dictionary_filename => |
exec dbms_logmnr_d.build(dic.ora,/data6/cyx/logmnr); |
ERROR at line 1: |
14:26:05 SQL> execute dbms_logmnr_d.build(oradict.ora,c:oracleadminoralog); |
编辑$ORACLE_HOME/rdbms/admindbmslmd.sql文件,把其中的 |
15:09:06 SQL> @c:oracleora81 |
15:09:51 SQL> alter package DBMS_LOGMNR_D compile body; |
SQL>exec dbms_logmnr.add_logfile( logfilename=> |
SQL> exec dbms_logmnr.add_logfile( logfilename=> |
SQL> exec dbms_logmnr.start_logmnr(dictfilename=>/data6/cyx/logmnr/dic.ora); |
SQL> exec dbms_logmnr.start_logmnr(); |
SQL> exec dbms_logmnr.start_logmnr(dictfilename=>/data6/cyx/logmnr/dic.ora , - |
SQL> select distinct timestamp from v$logmnr_contents; |
SQL> !env|grep NLS |
ORA-01284: file /data6/cyx/logmnr/arch_1_163570.arc cannot be opened |
SQL> select timestamp,sql_redo from v$logmnr_contents2 |
login_username=NEW_97 |
create or replace trigger on_logon_trigger |
SQL > select session_info ,sql_redo from v$logmnr_contents |