Statspack 基础入门

oracle statspack入门：
      参考：eygle老师的<statspack使用指南>
Statspack 使用指南 http://www.eygle.com/pdf/Statspack-v3.0.pdf及
君三思的<Statspack(1，2,3)>学习http://www.5ienet.com/note/html/stat/statspack_setup_induction.shtml
及网上资料
http://space.itpub.net/10159839/viewspace-168322 Statspack基础知识
http://blog.chinaunix.net/u3/107265/showart_2201600.html
http://blog.sina.com.cn/s/blog_592060b501009yki.html  Statspack入门到“精通”
并整理的。
可参考：%oracle_home%/rdbms/admin/spdoc.txt;有官方详细的使用说明
  +++
介绍:
---
oracle Statspack从Oracle8.1.6被引入，马上成为DBA和Oracle专家用来诊断数据库性能的强有力工具。通过Statspack我们可以很容易的确定Oracle数据库的瓶颈所有，记录数据库性能状态，也可以使远程技术人员迅速了解的的数据库运行状况。所以，了解和使用Statspack对于DBA来说至关重要。

在Statspack发布之前，我们经常用来诊断数据库的工具是两个脚本utlbstat.sql和utlestat.sql。BSTAT/ESTAT是一个非常简单的性能诊断工具。UTLBSTAT获得开始时很多V$视图的快照，UTLESTST通过先前的快照和当前视图生成一个报表。实际上此报表相当于statspack的两个采样点。
Statspack通过连续的采样，能够给我们提供很重要的趋势分析数据，这是一个巨大的进步。
所以，能够使用Statspack的环境，就尽量不使用BSTAT/ESTAT方式来诊断数据库问题。
(Oracle816以前的版本使用Statspack，需要使用statscbps.sql脚本建立一个V$buffer_pool_statistics视图。可以到oracle网站上下载。)
+++
原理：
---
1，运行oracle自带脚本，生成一系列的统计表。
2，生成快照，采样(运行statspack.snap可生成快照，一般通过自动任务生成快照)
3，根据快照生成报告
+++
一，准备，安装前的参数设置

---

1，检查部分参数值
SQL> show parameter job_queue
NAME                                TYPE                  VALUE
------------------------------------ ---------------------- ------
job_queue_processes                 integer               10

实际在使用statspack时，都会定时连续的收集数据库的统计信息，为了可以建立任务定时运行statspack.snap，需要参数job_queue_process的参数设定>=1
SQL> show parameter timed_sta
NAME                                TYPE                  VALUE
------------------------------------ ---------------------- ------
timed_statistics                    boolean               TRUE

收集操作系统的计时信息，这些信息可被用来显示时间等统计信息，优化数据库和sql语句，建议把该参数设置为treu。

--job_queue_process：为了能够建立自动任务，执行数据收集，此参数必须大于0
alter system set job_queue_processess=6;
---timed_statistics，设置为true，使收集的时间信息存储在V$sessstats和V$sysstats等动态性能视图中，但会消耗资源，可以在使用Satspack之前设为true，采样过后，把该参数动态修改为false.
alter system set timed_statistics=true;
检查是否已经安装服务
    select object_name,object_type from dba_objects where object_name='STATSPACK' and object_type='PACKAGE'
    如果未安装，应返回空，如已安装，用system用户修改perfstat用户名的口令，再登录。在此假设没有安装statspack。

3，检查脚本
使用此功能，需要运行oracle自带脚本，在数据库中生成一系列的表和视图，用于收集各种信息。
脚本位于%oracle_home%\rdbms\admin目录下，oracle816下是一组以stat开头的文件，以后的版本是一组以sp开头的文件。
oracle816中相关文件
C:\Documents and Settings\pln_27>dir \\10.105.10.12\e$\Oracle\Ora81\rdbms\admin\stat*.sql
驱动器 \\10.105.10.12\e$ 中的卷没有标签。 卷的序列号是 78C8-0DFB

\\10.105.10.12\e$\Oracle\Ora81\rdbms\admin 的目录
1999-12-06  20:38             1,805 statsauto.sql
1999-12-06  20:38               882 statscre.sql
1999-11-10  18:10            27,879 statsctab.sql
1999-11-10  18:10             4,844 statscusr.sql
1999-08-27  12:01               829 statsdrp.sql
1999-11-10  18:10             3,344 statsdtab.sql
1999-11-10  18:10             1,136 statsdusr.sql
1999-11-10  18:10            51,400 statspack.sql
1999-11-10  18:10            48,205 statsrep.sql
               9 个文件        140,324 字节
               0 个目录 84,135,944,192 可用字节
10G中相关文件
C:\Documents and Settings\pln_27>dir \\10.102.20.60\e$\oracle\product\10.2.0\db_
1\RDBMS\ADMIN\sp*.sql
驱动器 \\10.102.20.60\e$ 中的卷没有标签。
卷的序列号是 A89B-BF1F
\\10.102.20.60\e$\oracle\product\10.2.0\db_1\RDBMS\ADMIN 的目录


2010-03-23  16:53             1,978 spauto.sql
2005-05-31  17:43           204,684 spcpkg.sql
2002-05-17  19:45               895 spcreate.sql
2005-05-31  17:43            84,296 spctab.sql
2005-05-31  17:43            15,682 spcusr.sql
2000-06-19  13:23               794 spdrop.sql
2005-05-31  17:43             7,686 spdtab.sql
2005-05-31  17:43             1,739 spdusr.sql
2003-03-07  19:18             5,075 sppurge.sql
2005-03-31  13:05             5,379 sprepcon.sql
2005-05-31  17:43           258,168 sprepins.sql
2001-04-23  22:48             1,330 spreport.sql
2002-10-11  14:16             1,314 sprepsql.sql
2005-05-31  17:43            34,694 sprsqins.sql
2005-05-31  17:43             4,758 sptrunc.sql
2005-05-31  17:43            23,725 spup10.sql
2004-03-23  11:47            31,961 spup816.sql
2004-03-23  11:47            24,375 spup817.sql
2004-03-23  11:47            20,012 spup90.sql
2004-03-23  11:47            42,925 spup92.sql
              20 个文件        771,470 字节
               0 个目录 24,598,134,784 可用字节

+++
二，安装
---
1，以sysdba身份登录。
8i可以用internal用户登录：sqlplus internal
9i及以后版本，可以用sys用户以sysdba身份登录：C:\Documents and Settings\Administrator>sqlplus "/ as sysdba"
(最好转到脚本所有目录%oracle_home%\rdbms\admin，便于执行脚本)
SQL> show user;
SQL> set lines 100
SQL> select file_name from dba_data_files;
1.2 创建表空间，用于保存采样数据 (需要使用单引号，否则可能会包路径字符串太长 )
create tablespace perfstat datafile 'F:\oracle\oradata\orcl\perfstat.dbf' size 100m autoextend on extent management local;
实际的使用中，Statspack收集的统计信息可能会很大，该变空间的大小至少在100M以上，如果采样的频率很高，需要适当的再增加其大小。
以sysdba用户连入sqlplus，执行spcreate.sql
SQL> @C:\oracle\rdbms\admin\spcreate.sql
如果安装过程有报错信息，请检查lis输出文件，该文件会列出具体的报错信息 ，如
Specify PERFSTAT user's default  tablespace
输入default_tablespace的值: temp
Using temp for the default tablespace
PL/SQL过程已成功完成。
用户已更改。
alter user PERFSTAT default tablespace temp
ERROR位于第1行:
ORA-12910:无法将临时表空间指定为默认表空间
--查看错误信息
NT下：
host find "ORA-" *.LIS
host find "err-" *.LIS
Unix下：
grep ORA- *.lis
grep err *.lis

有报错需要执行
>@?/rdbms/admin/spcreate.sql
>@?/rdbms/admin/spdrop.sql   (如果出错了)
>@?/rdbms/admin/spcreate.sql  (重新)

2，运行脚本，安装statspack
Oracle816：%oracle_home%\rdbms\admin\statscre.sql
816以后：%oracle_home%\rdbms\admin\spcreate.sql


--脚本会创建用户perfstat，需要指定此用户密码。
输入 perfstat_password 的值:  perfstat

--需要输入用户perfstat使用的表空间：指定新建的表空间即可。
输入 default_tablespace 的值:   perfstat

--需要指定用户perfstat使用的临时表空间。
输入 temporary_tablespace 的值:  tmp10


--安装成功，可以看到如下信息：
Creating Package STATSPACK...
程序包已创建。

没有错误。
Creating Package Body STATSPACK...

程序包体已创建。
没有错误。
NOTE:
SPCPKG complete. Please check spcpkg.lis for any errors.

如果出现错误，可以运行脚本删除相关内容：@%oracle_home%\rdbms\admin\spdrop.sql
(注意：也要在sysdba下运行脚本删除相关对象)
然后再重新运行脚本安装。

这个安装过程创建了一系列的表，用于存入采样数据。
查看新建表：
select dt.table_name from dba_tables dt where dt.owner='PERFSTAT'
conn perfstat/perfstat
select table_name from user_tables;

+++
三，测试statspack
---

用perfstat用户连接
(如果你刚执行完@spcreate，则oracle默认将当前用户切换为perfstat 。)
运行statspack.snap可以产生系统快照，运行两次，产生两次快照。

SQL> execute statspack.snap;
PL/SQL 过程已成功完成。
SQL> execute statspack.snap;
PL/SQL 过程已成功完成。
然后执行脚本就可以生成基于两个快照的报告。脚本：
Ora816:%oracle_home%\rdbms\admin\statsrep.sql
816以后：%oracle_home%\rdbms\admin\spreport.sql

--需要输入起始快照ID和结束快照ID，以及报告文件名。
Specify the Begin and End Snapshot Ids
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
输入 begin_snap 的值:  1
Begin Snapshot Id specified: 1
输入 end_snap 的值:  13
End   Snapshot Id specified: 13
输入 report_name 的值:  e:\s1report.txt
如果一切正常，说明安装成功。

--查看产生的快照
select t.snap_id,to_char(t.snap_time,'yyyy-mm-dd hh:mi:ss') as S_Time,t.snapshot_exec_time_s from STATS$SNAPSHOT t;

可以利用spauto脚本，设置定时任务收集统计信息，spauto，该脚本实际调用dbms_job.submit,新增一个job，调用statspack.snap,可以手工编辑需要间隔的时间。（statspack结束后，注意用dbms_job.remove(:jobno)把定时的job任务删除，避免大量的统计信息带来额外的问题）

+++
四，规划自动任务
---
安装之后，我们就可以设置定时任务，定时采样，收集数据。
1，使用系统脚本
使用脚本来定义自动任务。脚本：
816：statsauto.sql
816以后：spauto.sql


spauto.sql在关键内容：
begin
  select instance_number into :instno from v$instance;
  dbms_job.submit(:jobno, 'statspack.snap;', trunc(sysdate+1/24,'HH'), 'trunc(SYSDATE+1/24,''HH'')', TRUE, :instno);
  commit;
end;
执行spquto，就建立了一个每小时执行一次的数据收集计划。
这个Job任务定义了收集数据(执行statspack.snap)的时间间隔为1小时：
一天24小时，1440分钟-->
1/24,'HH' 每小时一次
1/48,'MI' 每半小时一次
1/144,'MI' 每10分钟一次
1/288,'MI' 每5分钟一次


关于采样间隔，通常建议1小时，如有特殊需要，可以设置更短，如半小时。但不推荐更短。因为statpack的执行本身需要消息资源，太短的采样对系统的性能会产生较大的影响(甚至会使statspack的执行出现在采样数据中)

2，使用自定义语句
1)可以用以下语句创建一个job，我们设定其每个小时自动收集一次采样。
Variable  job  number ;
begin
  dbms_job.submit(:job, 'statspack.snap;' ,trunc( sysdate + 1 / 24 , 'hh24' ), 'trunc(sysdate+1/24,''hh24'')' );
   commit ;
end ;
/
查看当前job
set linesize 120
col schema_user for a12
col what for a20
col interval for a15
col next_d for a18


select job,schema_user,to_char(next_date,'yyyymmdd hhmiss') as next_D,interval,what from user_jobs;


       JOB SCHEMA_USER  NEXT_D             INTERVAL        WHAT
---------- ------------ ------------------ --------------- --------------------
        41 PERFSTAT     20100324 030000    trunc(sysdate+1 statspack.snap;
                                           /24,'hh24')


2)再创建一个job，让它在第二天凌晨自动停止采样job的执行。
查出job编号，执行以下语句
Variable  job  number ;
begin
  dbms_job.submit(:job, 'dbms_job.broken(41,true);' ,trunc( sysdate + 1 ), 'null' );
   commit ;
end ;
/


再查看任务，可以看到，已经添加了删除任务41的新的任务。
如果你想删除某些statspack收集的历史采样，直接通过delete，指定snap_id即可：


+++
五，生成报告
同测试一样
用perfstat用户连接
执行脚本，输入起始快照ID和结束快照ID，以及报告文件名，生成statspack报告。
816:%oracle_home%\rdbms\admin\statsrep.sql
816以后：%oracle_home%\rdbms\admin\spreport.sql


一次statspack报告不能跨越一次停机，但是之前或之后的连续区间，收集的信息依然有效，你可以选择之前或之后的采样生成report.
如果中间停过机，会收到以下错误信息：


第 1 行出现错误:
ORA-20200: The instance was shutdown between snapshots 1 and 31
ORA-06512: 在 line 48


+++
六，后续处理


1，移除定时任务
当你完成一个采样报告，你应该及时移除这个job任务。遗漏一个无人照顾的job是非常危险
以利用spauto脚本，设置定时任务收集统计信息，spauto，
该脚本实际调用dbms_job.submit,新增一个job，调用statspack.snap,可以手工编辑需要间隔的时间。（statspack结束后，
注意用dbms_job.remove(:jobno)把定时的job任务删除，避免大量的统计信息带来额外的问题）

--查看任务并移除任务
select job, next_date, next_sec, what from user_jobs;
execute dbms_job.remove('ID')


2，删除历史数据
1)，删除采样数据
只要删除stat$snapshot数据表中的相应数据，其他表中的数据会相应的级连删除。
select max(snap_id) from stats$snapshot;
delete from stats$snapshot where snap_id<=166;

删除过程中，你可以看到所有相关的表都被锁定了。
select a.object_id, a.oracle_username, b.object_name
from v$locked_object a,dba_objects b
where a.object_id=b.object_id

2)，truncate统计信息表：使用脚本sptrunc.sql删除所有的采样数据但保留statspack的库结构。
如果有大量数据，直接delete采样数据是非常缓慢的。使用脚本sptrunc.sql可以快速的删除所有统计信息。
查看脚本，可以看出是用truncate table截掉所有相关的表中的内容。
truncate table STATS$FILESTATXS;
truncate table STATS$TEMPSTATXS;
...
delete from STATS$DATABASE_INSTANCE;


3)，删除statspack所有数据和各种对象：使用脚本spdrop.sql。全部删除，不留痕迹!但有表空间在~~

+++
七，其它重要脚本
---
1，spuexp.par，数据导出用参数文件。主要内容如下：
file=spuexp.dmp log=spuexp.log compress=y grants=y indexes=y rows=y constraints=y owner=PERFSTAT consistent=y


我们可以使用以下命令导出：
exp perfstat/perfstat parfile=spuexp.par
例：
E:\oracle\product\10.2.0\db_1\RDBMS\ADMIN>exp perfstat/perfstat parfile=spuexp.par


2，删除数据脚本：spdtab.sql--删除表及同义词。spdusr.sql删除用户


3，oracle92新增脚本
1)用于升级statspack对象的脚本，需要sysdba权限，升级前请先备份存在的schema数据。
spup90.sql：用于升级9.0版本的模式至9.2版本
spup817.sql：如果从statspack8.1.7升级，需要运行这个脚本
spup816.sql：从statspack8.1.6升级，需要运行这个脚本，然后运行spup817.sql。
2)sqrepsql.sql 用于根据给定的SQL Hash值生成SQL报告


+++
九，调整statspack的收集门限
---
statspack有两种类型的收集选项
level--级别：控制收集数据的类型
threshold--门限：设置收集的数据阀值
都保存在表stats$statspack_parameter中


1，级别(level)--有三种快照级别，默认值为5


--查看当前level级别：
select snap_level from stats$statspack_parameter;
1)level=0：一般性能统计。包括等待事件，系统事件，系统统计，回滚段统计，行缓存，SGA，会话，锁，缓冲池统计等等。
2)level=5：在level0的基础上，增加SQL语句的收集。SQL语句收集结果记录在ststs$sql_summary表中。
3)level=10：增加子锁统计，包括level5的所有内容，还会将附加子锁的入stats$latc_children表中。使用这个级别需要慎重，建议在oracle support的指导下进行。

可以通过statspack包修改缺省的级别设置，如：
SQL>execute statspack.snap(i_snap_level=>0,i_modify_parameter=>'true');
通过这条语句，
以后的收集级别都将是0级。
如果你只是想修改本次收集级别，可以忽略i_modify_parameter参数，如下：
SQL>execute statspack.snap(i_snap_level=>10); 
2，快照门限--只应用于stats$sql_summary表中获取的Sql语句。
因为每一个快照都会收集很数据，及sql语句，所以stats$sql_summary很快就会成为statspack中最大的表。
--查看当前各种门限
select executions_th,disk_reads_th,parse_calls_th,buffer_gets_th from stats$statspack_parameter;

各种门限：
1)executions_th--sql语句执行的数量(默认值=100)
2)disk_reads_th--sql语句执行的磁盘读入数量(默认值=1000)
3)parse_calls_th--sql语句执行的解析调用数量(默认值=1000)
4)buffer_gets_th--sql语句执行的缓冲区获取数量(默认值=10000)
任何一个门限值超过以上参数就会产生一条记录。
通过调用statspack.modify_statspack_parameter函数我们可以改变门限的默认值：
SQL>execute statspack.modify_statspack_parameter(i_buffer_get_th=>100000,i_disk_reads_th=>100000;

+++
十，Statspack 报告分析
---
Statspack 报告分为如下部分
1.  数据库总体信息
含实例、版本、是否RAC、CPU、物理内存、oracle内存设置等等
2.  每秒每事务的资源消耗情况
3.  实例的各组件的命中率
4.  共享池总体情况(Shared Pool Statistics)
5.  等待时间最长的前5个等待事件(Top 5 Timed Events)
含前5等待事件，两次采样间cpu占用，内存分配等信息。Oracle各版本等待事件并不完全相同，数量依版本升高而增加，关于各项等待事情的说明，三思之前的"学习动态性能表"系列文章中有过介绍，有心的朋友可以去搜搜看。
6. DB 所有等待事件(Wait Events)--Total wait time>=0.001 的事件。
7.  后台等待事件(Background Wait Events)--Total wait time>=0.001 的事件。
8.  柱状显示的等待事件(Wait Event Histogram)--显示各等待事件不同响应时间的比例
9.  根据CPU开销进行排序的SQL(SQL ordered by CPU)
10.  根据执行时间进行排序的SQL(SQL ordered by Elapsed)
11.  根据BufferGets进行排序的SQL(SQL ordered by Gets)
12.  根据物理读进行排序的SQL(SQL ordered by Reads)
13.  根据执行次数排序的SQL(SQL ordered by Executions)
14.  根据解析调用次数排序的SQL(SQL ordered by Parse Calls)
15.  实例记录的各项活动的统计数据(Instance Activity Stats)
16.  表空间的IO统计(Tablespace IO Stats)
17.  数据文件的IO统计(File IO Stats)
18.  数据文件读柱状图形式统计(File Read Histogram Stats)
19. Buffer 池统计数据(Buffer Pool Statistics)--含实例恢复的统计数据，buffer池大小设置建议等等。
20. PGA 统计数据(PGA Aggr Target Stats)--含PGA缓存命中率，柱状图形式的统计以及PGA设置建议等等。
21.  进程的内存占用情况(Process Memory Summary Stats)--含占用内存较多的进程等。
22. undo 段摘要
23. undo 段统计
24.  锁存器的当前情况
25.  锁存器睡眠等待统计
26.  锁存器失败情况
27.  数据字典cache性能统计(Dictionary Cache Stats)
28.  库缓存的活动情况(Library Cache Activity)
29. Rule 集(Rule Sets)
30.  共享池设置建议(Shared Pool Advisory)
31. SGA 摘要(SGA Memory Summary)
32. SGA 统计信息(SQL Memory Statistics)
33.  系统参数(init.ora Parameters)

报告很长，确实非常全面。如何分析，还需要再学习……
删除statspack生成的报告:
http://happymen001.iteye.com/blog/652824