传统路径导出 VS 直接路径导出(oracle exp direct=y)

      Oracle 传统的Export与Import依旧被保留到11g，而且9i与10g有很多依旧使用Export与Import方式进行备份与恢复的企业。从Oracle 7.3开始，传统的exp导出程序提供两种的导出路径方式，一个是传统路径导出(Conventional Path Export)，一个是直接路径导出(Direct Path Export)。本文即是因最近客户的传统导入导出性能问题对此进行描述。

 

1、两者的差异
    a、 Conventional path Export
        传统路径模式使用SQL SELECT语句抽取表数据。数据从磁盘读入到buffer cache缓冲区中，行被转移到评估缓冲区。
        在此之后根据SQL表达式，将记录返回给导出客户端，然后写入到dump文件。
   
    b、Direct path Export
       直接导出模式，数据直接从磁盘中读取到导出session的PGA中，行被直接转移到导出session的私有缓冲区，从而跳过SQL命令处理层。
       避免了不必要的数据转换。最后记录返回给导出客户端，写到dump文件。
      
2、性能问题
    a、直接路径导出方式比传统路径方式具有更优的性能，速度更快，因为绕过了SQL命令处理部分。
    b、直接路径导出方式支持RECORDLENGTH参数(最大为64k)，该参数值通常建议设置为系统I/O或者DB_BLOCK_SIZE的整数倍
    c、影响直接路径导出的具体因素(DB_BLOCK_SIZE，列的类型，I/O性能，即数据文件所在的磁盘驱动器是否单独于dump文件所在的磁盘驱动器)
    d、无论是直接路径导出还是传统路径导出产生的dump，在使用imp方式导入时，会耗用相同的时间

 

3、简单示例
    > exp system/manager FILE=exp_full.dmp LOG=exp_full.log \
    FULL=y DIRECT=y RECORDLENGTH=65535
  
    > imp system/manager FILE=exp_full.dmp LOG=imp_full.log \
    FULL=y RECORDLENGTH=65535 

 

4、直接路径导出的限制
    a、直接路径导出不支持交互模式
    b、不支持表空间传输模式(即TRANSPORT_TABLESPACES=Y不被支持)，支持的是FULL,OWNER,TABLES导出方式
    c、不支持QUERY查询方式，如exp scott/tiger TABLES=emp QUERY=\"WHERE job=\'SALESMAN\' \" 不被支持
    d、直接路径导出使用RECORDLENGTH设置一次可以导出数据的量，取代传统路径使用buffer的设置
    e、直接路径导出要求NLS_LANG环境参数等于数据库字符集，负责收到EXP-41警告及EXP-0终止错误

 

5、演示两种方式性能差异

a、传统路径导出与直接路径导出性能对比
#下面直接进行日志对比
robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump1.log 
Start to dump at Fri Jun 21 15:32:57 CST 2013 ....

Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Conventional Path ...#这个地方是关键描述信息，指明了导出方式
. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exported #数据139万行
Export terminated successfully with warnings.

End dump at Fri Jun 21 15:34:31 CST 2013 .    #耗用时间15:34:31-15:32:57=不到2min

# Author : Robinson
# Blog   : http://blog.csdn.net/robinson_0612

robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump2.log 
Start to dump at Fri Jun 21 15:37:13 CST 2013 ....

Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Direct Path ...#这个地方是关键描述信息，指明了导出方式
. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exported
Export terminated successfully with warnings.

End dump at Fri Jun 21 15:37:30 CST 2013 .   #耗用时间15:37:30-15:37:13 =17s

b、演示对lob数据类型的支持
scott@SYBO2SZ> create table scott.testtab2 (nr number, txt clob);

Table created.

scott@SYBO2SZ> declare
  2  x varchar2(50);
  3  begin
  4  for i in 1..5000 loop
  5  x := 'This is a line with the number: ' || i;
  6  insert into scott.testtab2 values(i,x);
  7  commit;
  8    end loop;
  9  end;
 10  /

PL/SQL procedure successfully completed.

scott@SYBO2SZ> select count(*) from testtab2;

  COUNT(*)
----------
      5000

robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> exp scott/tiger file=exp_testtab2.dmp tables=scott.testtab2 direct=y

Export: Release 10.2.0.3.0 - Production on Fri Jun 21 11:56:37 2013

Copyright (c) 1982, 2005, Oracle.  All rights reserved.


Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit Production
Export done in US7ASCII character set and UTF8 NCHAR character set
server uses UTF8 character set (possible charset conversion)

About to export specified tables via Direct Path ...
Table TESTTAB2 will be exported in conventional path.
. . exporting table                       TESTTAB2       5000 rows exported
Export terminated successfully without warnings.      
 

 

6、相关参考
    数据泵 EXPDP 导出工具的使用
    数据泵 IMPDP 导入工具的使用
    expdp impdp中 exclude/include 的使用
    使用 Oracle Datapump API 实现数据导出
    导入导出 Oracle 分区表数据

    Oracle datapump expdp/impdp 导入导出数据库时hang住

    使用datapump 导出导入同义词(export and import synonym using datapump)

 

更多参考

有关Oracle RAC请参考
     使用crs_setperm修改RAC资源的所有者及权限
     使用crs_profile管理RAC资源配置文件
     RAC 数据库的启动与关闭
     再说 Oracle RAC services
     Services in Oracle Database 10g
     Migrate datbase from single instance to Oracle RAC
     Oracle RAC 连接到指定实例
     Oracle RAC 负载均衡测试(结合服务器端与客户端)
     Oracle RAC 服务器端连接负载均衡(Load Balance)
     Oracle RAC 客户端连接负载均衡(Load Balance)
     ORACLE RAC 下非缺省端口监听配置(listener.ora tnsnames.ora)
     ORACLE RAC 监听配置 (listener.ora tnsnames.ora)
     配置 RAC 负载均衡与故障转移
     CRS-1006 , CRS-0215 故障一例 
     基于Linux (RHEL 5.5) 安装Oracle 10g RAC
     使用 runcluvfy 校验Oracle RAC安装环境

有关Oracle 网络配置相关基础以及概念性的问题请参考：
     配置非默认端口的动态服务注册
     配置sqlnet.ora限制IP访问Oracle
     Oracle 监听器日志配置与管理
     设置 Oracle 监听器密码(LISTENER)
     配置ORACLE 客户端连接到数据库

有关基于用户管理的备份和备份恢复的概念请参考
     Oracle 冷备份
     Oracle 热备份
     Oracle 备份恢复概念
     Oracle 实例恢复
     Oracle 基于用户管理恢复的处理
     SYSTEM 表空间管理及备份恢复
     SYSAUX表空间管理及恢复
     Oracle 基于备份控制文件的恢复(unsing backup controlfile)

有关RMAN的备份恢复与管理请参考
     RMAN 概述及其体系结构
     RMAN 配置、监控与管理
     RMAN 备份详解
     RMAN 还原与恢复
     RMAN catalog 的创建和使用
     基于catalog 创建RMAN存储脚本
     基于catalog 的RMAN 备份与恢复
     RMAN 备份路径困惑
     使用RMAN实现异机备份恢复(WIN平台)
     使用RMAN迁移文件系统数据库到ASM
     linux 下RMAN备份shell脚本
     使用RMAN迁移数据库到异机

有关ORACLE体系结构请参考
     Oracle 表空间与数据文件
     Oracle 密码文件
     Oracle 参数文件
     Oracle 联机重做日志文件(ONLINE LOG FILE)
     Oracle 控制文件(CONTROLFILE)
     Oracle 归档日志
     Oracle 回滚(ROLLBACK)和撤销(UNDO)
     Oracle 数据库实例启动关闭过程
     Oracle 10g SGA 的自动化管理
     Oracle 实例和Oracle数据库(Oracle体系结构)