ogg 日常维护与异常分析

2.4        OGG日常监控
2.4.1        OGG常用监控命令
.4.1.1        启动GoldenGate进程
1)        首先以启动GoldenGate进程的系统用户（一般为oracle）登录源系统。
2)        进入GoldenGate安装目录，执行./ggsci进入命令行模式。
3)        启动源端管理进程GGSCI > start mgr
4)        同样登陆到目标端GoldenGate安装目录，执行./ggsci，然后执行GGSCI > start mgr启动管理进程。
5)        在源端执行GGSCI > start er *启动所有进程
6)        同样登录到备份端执行GGSCI > start er *启动所有进程
7)        使用GGSCI > info er * 或者 GGSCI > info <进程名>察看进程状态是否为Running（表示已经启动）。注意有的进程需要几分钟起来，请重复命令观察其启动状态。
说明：无论源还是目标，启动各extract/replicat进程前需要启动mgr进程。
8)        start 命令的一般用法是：
?        start <进程名称>如：GGSCI> start extdm  启动一个名叫extdm的进程；
?        也可以使用通配符，如：GGSCI> start er *  启动所有的extract和replicat进程；GGSCI> start extract *d*  启动所有的包含字符‘d’extract进程；
?        GGSCI> start replicat rep*  启动所有以“rep“开头的replicat进程
2.4.1.2        停止GoldenGate进程
依照以下步骤停止GoldenGate进程：
1)        以启动GoldenGate进程的系统用户（一般为oracle）登录源主机，进入GoldenGate安装目录执行./ggsci进入命令行管理界面
2)        (**注：本步骤仅针对抽取日志的主extract进程， data pump进程和replicat进程不需要本步骤) 验证GoldenGate的抽取进程重起所需的日志存在，对各个主extXX进程，执行如下命令：
ggsci> info extXX, showch
…..
Read Checkpoint #1
….

Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 1
    Sequence #: 9671
    RBA: 239077904
    Timestamp: 2008-05-20 11:39:07.000000
    SCN: 2195.1048654191
    Redo File: Not available

  Current Checkpoint (position of last record read in the data source):
    Thread #: 1
    Sequence #: 9671
    RBA: 239377476
    Timestamp: 2008-05-20 11:39:10.000000
    SCN: 2195.1048654339
    Redo File: Not Available

Read Checkpoint #2
…..

  Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Thread #: 2
    Sequence #: 5287
    RBA: 131154160
    Timestamp: 2008-05-20 11:37:42.000000
    SCN: 2195.1048640151
    Redo File: /dev/rredo07

  Current Checkpoint (position of last record read in the data source):
    Thread #: 2
    Sequence #: 5287
    RBA: 138594492
    Timestamp: 2008-05-20 11:39:14.000000
    SCN: 2195.1048654739
    Redo File: /dev/rredo07

…..
首先察看Recovery Checkpoint所需要读取的最古老日志序列号，如举例中的实例1需要日志9671及其以后所有归档日志，实例2需要序列号为5287及以后所有归档日志，确认这些归档日志存在于归档日志目录后才可以执行下一步重起。如果这些日志已经被删除，则下次重新启动需要先恢复归档日志。注意：对于OGG 11及以后版本新增了自动缓存长交易的功能，缺省每隔4小时自动对未提交交易缓存到本地硬盘，这样只需要最多8个小时归档日志即可。但是缓存长交易操作只在extract运行时有效，停止后不会再缓存，此时所需归档日志最少为8个小时加上停机时间，一般为了保险起见建议确保重启时要保留有12个小时加上停机时间的归档日志。
1)        执行GGSCI >stop er *停止所有源进程，或者分别对各个进程执行stop <进程名>单独停止。
2)        以oracle用户登录目标系统，进入安装目录/oraclelog1/goldengate，执行./ggsci进入命令行。
3)        在目标系统执行stop er *停止复制
4)        在两端进程都已停止的情况下,如需要可通过stop mgr停止各系统内的管理进程。
类似的，stop命令具有跟start命令一样的用法。这里不再赘述。
注意，如果是只修改抽取或者复制进程参数，则不需要停止MGR。不要轻易停止MGR进程，并且慎重使用通配符er *， 以免对其他复制进程造成不利影响。
2.4.1.4        查看参数设置
使用view params <进程名> 可以查看进程的参数设置。该命令同样支持通配符*。

2.4.1.5        查看进程状态
使用info <进程名称> 命令可以查看进程信息。可以查看到的信息包括进程状态、checkpoint信息、延时等。如： 
还可以使用info <进程名称> detail 命令查看更详细的信息。包括所使用的trail文件，参数文件、报告文件、警告日志的位置等。如：
使用info <进程名称> showch 命令可以查看到详细的关于checkpoint的信息，用于查看GoldenGate进程处理过的事务记录。其中比较重要的是extract进程的recovery checkpoint，它表示源数据中最早的未被处理的事务；通过recovery checkpoint可以查看到该事务的redo log位于哪个日志文件以及该日志文件的序列号。所有序列号比它大的日志文件，均需要保留。

2.4.1.6        查看延时
GGSCI> lag <进程名称> 可以查看详细的延时信息。如： 
2.4.1.7        查看统计信息
GGSCI> stats <进程名称>,<时间频度>,table . 可以查看进程处理的记录数。该报告会详细的列出处理的类型和记录数。如：
GGSCI> stats edr, total列出自进程启动以来处理的所有记录数。
GGSCI> stats edr, daily, table gg.test列出当天以来处理的有关gg.test表的所有记录数。
2.4.1.8        查看运行报告
GGSCI> view report <进程名称> 可以查看运行报告。如：
也可以进入到 /dirrpt/目录下，
查看对应的报告文件。2.4.2        Logdump使用指引
1)        在GGSCI中使用如下命令查看当前处理的队列文件和RBA号，例如：
GGSCI > info REPYXA
2)        在GoldenGate安装目录执行logdump命令
3)        打开要查看的队列文件
Logdump >open ./dirdat/p1000556
Current LogTrail is ./dirdat/p1000556
Logdump >ghdr on
Logdump >detail on
Logdump >detail data
Logdump >usertoken on
Logdump >pos 59193235 上面INFO命令看到的RBA号码
Logdump >n
输入n显示当前处理的表及相关操作
再次输入n，显示下一条记录，如果要跳过当前记录，方法如下：
GGSCI>alter REPYXA extseqno 556, extrba 上面再次输入n看到的下一个RBA号，其中556为上面INFO看到的队列文件，0之后的数字
4)        打开下一个队列文件
Logdump >NEXTTRAIL
5)        使用logdump查看SCN号
Logdump >ggstoken detail
只有在事务开始的RBA号，才记录对应的SCN号和Transaction ID，示例如下：

上图显示SCN号：4024322，TRANID:6.38.1600
如果进程出现问题，可以找到在处理那个事务时出现问题，修改进程提前到该事务之前的时间点进行重新抽取，然后从找到的SCN号启动replicat进程，例如：
GGSCI> start rep_xxx  ATCSN 4024332
6)        使用COUNT
统计队列文件中包含的记录条数
按时间点统计
Logdump> COUNT START 2006-01-11 12:00:00 , END 2006-01-12 12:00:00
统计ls开头的每个队列文件包含的条数
Logdump> COUNT LOG ls*
Logdump> COUNT DETAIL
Logdump>
7)        使用Filter
Logdump> FILTER INCLUDE FILENAME Schema.table_name
Logdump>COUNT
查看队列文件中，包含该表的记录条数
Logdump> FILTER INCLUDE TRANSIND <> 1
0 = start of transaction
1 = middle of transaction
2 = end of transaction
3 = only record in transaction
可以统计队列文件中的事务，可以利用该命令查找事务开始点，如果没有开始的事务，直接找上一个文件即可。


2.5        OGG日常运维任务
2.5.1        配置自动删除队列
1)        进入安装目录执行./ggsci；
2)        执行edit param mgr编辑管理进程参数，加入或修改以下行
purgeoldextracts //dirdat/*, usecheckpoint, minkeepdays 7
其中，第一个参数为队列位置，*可匹配备份中心所有队列文件；
第二个参数表示是首先要保证满足检查点需要，不能删除未处理队列；
第三个参数表示最小保留多少天，后面的数字为天数。例如，如果希望只保留队列/ggs/dirdat/xm文件3天，可以配置如下：
purgeoldextracts /ggs/dirdat/xm, usecheckpoint, minkeepdays 3
3)        停止MGR进程，修改好参数后重启该进程
GGSCI > stop mgr
GGSCI > start mgr
注：临时停止mgr进程并不影响数据复制。

2.5.2        配置启动MGR时自动启动Extract和Replicat进程
1)        进入安装目录执行./ggsci；
2)        执行edit param mgr编辑管理进程参数，加入以下行
AUTOSTART ER *
3)        停止MGR进程，修改好参数后重启该进程
GGSCI > stop mgr
GGSCI > start mgr
注意：一般建议不用自动启动，而是手工启动，便于观察状态验证启动是否成功，同时也便于手工修改参数。

2.5.3        配置MGR自动重新启动Extract和Replicat进程
GoldenGate具有自动重起extract或者replicat进程的功能，能够自动恢复如网络中断、数据库临时挂起等引起的错误，在系统恢复后自动重起相关进程，无需人工介入。
1)        进入安装目录执行ggsci进入命令行界面；
2)        执行edit param mgr编辑管理进程参数，加入以下行
AUTORESTART ER *, RETRIES 3, WAITMINUTES 5, RESETMINUTES 60
以上参数表示每5分钟尝试重新启动所有进程，共尝试三次。以后每60分钟清零，再按照每5分钟尝试一次共试3次。
3)        停止MGR进程，修改好参数后重启该进程，使修改后的参数文件生效
GGSCI > stop mgr
GGSCI > start mgr

2.5.4        长事务管理
在停止抽取进程前需要通过命令检查是否存在长交易，以防止下次启动无法找到归档日志：
ggsci> info extXX, showch
2.5.4.1        查看长交易的方法
Ggsci> send extract <进程名> , showtrans [thread n] [count n]
其中，<进程名>为所要察看的进程名，如extsz/extxm/extjx等；
Thread n是可选的，表示只查看其中一个节点上的未提交交易；
Count n也是可选的，表示只显示n条记录。例如,查看extsz进程中节点1上最长的10个交易，可以通过下列命令：
Ggsci> send extract extsz , showtrans thread 1  count 10
输出结果是以时间降序排列的所有未提交交易列表，通过xid可以查找到对应的事务，请应用开发商和DBA帮助可以查找出未提交原因，通过数据库予以提交或者回滚后GoldenGate的checkpoint会自动向前滚动。
2.5.4.2        使用GoldenGate命令跳过或接受长交易的方法
在GoldenGate中强制提交或者回滚指定事务，可以通过以下命令（<>中的为参数）：
Ggsci> SEND EXTRACT <进程名>, SKIPTRANS <5.17.27634> THREAD <2> //跳过交易
Ggsci>SEND EXTRACT <进程名>, FORCETRANS <5.17.27634> THREAD <1> //强制认为该交易已经提交
说明：使用这些命令只会让GoldenGate进程跳过或者认为该交易已经提交，但并不改变数据库中的交易，他们依旧存在于数据库中。因此，强烈建议使用数据库中提交或者回滚交易而不是使用GoldenGate处理。
2.5.4.3        配置长交易告警
可以在extract进程中配置长交易告警，参数如下所示：
extract extsz
……
warnlongtrans 12h, checkintervals 10m
exttrail /backup/goldengate/dirdat/sz
….
以上表示GoldenGate会每隔10分钟检查一下长交易，如果有超过12个小时的长交易，GoldenGate会在根目录下的ggserr.log里面加入一条告警信息。可以通过察看ggserr.log或者在ggsci中执行view ggsevt命令查看这些告警信息。以上配置可以有助于及时发现长交易并予以处理。
说明：在OGG 11g中，extract提供了BR参数可以设置每隔一段时间（默认4小时）将长交易缓存到本地硬盘（默认dirtmp目录下），因此extract只要不停止一般需要的归档日志不超过8个小时（极限情况）。但是如果extract停掉后，便无法再自动缓存长交易，需要的归档日志就会依赖于停机时间变长。

2.5.9        Trace收集方法
1)        GoldenGate在出现问题时，在Support网站创建SR之后，研发部门会要求收集相关的trace文件，并上传到ftp.oracle.com网站。trace收集方法如下：
2)        根据进程名称将下面的xml文件改名，命名格式为：gglog-XXX.xml，例如：gglog-EXTYB.xml 
3)        将该文件拷贝到GoldenGate安装目录
4)        注释掉manager参数文件中的AUTOSTART和AUTORESTART
5)        启动出现错误的进程：GGSCI>strat XXX
6)        运行直至进程abend
7)        拷贝产生的log文件、dmp文件、ggserr.log、dirrpt目录并上传到ftp.oracle.com


4        OGG性能优化方法
从根本上讲，OGG复制性能和要复制的表是否存在主键和索引有很大关系，所以从应用系统开发商对表结构的规范更为有效，请参见“2 国网应用系统开发规范”。
OGG调优通常采用拆分进行的方式，拆分方法如下所述。
4.1        Extract拆分方法
1)        停止extract进程
2)        停止datapump、进程
GGSCI> INFO datapump_name
EXTRACT    DPEF      Last Started 2011-01-28 12:34   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:05 ago)
Log Read Checkpoint  File ./dirdat/ef000010
                     2011-01-28 12:47:45.000000  RBA 148645
直至RBA号不变化，才能停止
3)        停止replicat进程
GGSCI> INFO replicat_name
REPLICAT   RPEF      Last Started 2011-01-28 12:30   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:05 ago)
Log Read Checkpoint  File ./dirdat/ef000006
                     2011-01-28 12:47:45.000000  RBA 149258
直至RBA号不变化，才能停止
4)        记录extract检查点
Extract检查点包括：Recovery Checkpoint和Current Checkpoint
GGSCI> INFO extract_name, SHOWCH
EXTRACT    EXEE      Last Started 2011-01-28 09:58   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:01:02 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2011-01-28 10:02:16  Seqno 26, RBA 7090688
Current Checkpoint Detail:

Read Checkpoint #1

  Oracle Redo Log

  Startup Checkpoint (starting position in the data source):
    Sequence #: 26
    RBA: 289296
    Timestamp: 2011-01-28 09:27:31.000000
    Redo File: C:\ORACLE\PRODUCT\10.2.0\ORADATA\ORCL\REDO02.LOG

  Recovery Checkpoint (position of oldest unprocessed transaction in the data source):
    Sequence #: 26
    RBA: 7088144
    Timestamp: 2011-01-28 10:02:16.000000
    Redo File: C:\ORACLE\PRODUCT\10.2.0\ORADATA\ORCL\REDO02.LOG

  Current Checkpoint (position of last record read in the data source):
    Sequence #: 26
    RBA: 7090688
    Timestamp: 2011-01-28 10:02:16.000000
    Redo File: C:\ORACLE\PRODUCT\10.2.0\ORADATA\ORCL\REDO02.LOG

Write Checkpoint #1

  GGS Log Trail

  Current Checkpoint (current write position):
    Sequence #: 11
    RBA: 31609
    Timestamp: 2011-01-28 10:02:19.072000
    Extract Trail: ./dirdat/ee

Header:
  Version = 2
  Record Source = A
  Type = 4
  # Input Checkpoints = 1
  # Output Checkpoints = 1

File Information:
  Block Size = 2048
  Max Blocks = 100
  Record Length = 2048
  Current Offset = 0

Configuration:
  Data Source = 3
  Transaction Integrity = 1
  Task Type = 0

Status:
  Start Time = 2011-01-28 09:58:34
  Last Update Time = 2011-01-28 10:02:19
  Stop Status = G
  Last Result = 400

5)        修改原有相应的参数文件，将拆分出的表从参数文件中删除
6)        增加新的extract，datapump和replicat
--source--------------------------------------------------
GGSCI (win2k364) 15> add ext exef, tranlog, begin now

GGSCI (win2k364) 16> add exttrail ./dirdat/ef, ext exef, megabytes 50

GGSCI (win2k364) 17> add ext dpef, exttrailsource ./dirdat/ef

GGSCI (win2k364) 18> add rmttrail ./dirdat/ef, ext dpef, megabytes 50

--target--------------------------------------------------
GGSCI (win2k364) 21> add rep rpef, exttrail ./dirdat/ef

7)        修改新增extract进程的检查点
检查点为上面记录的两个检查点：
current read checkpoint and recovery checkpoint
--修改current read checkpoint
GGSCI (win2k364) 30> alter exef extseqno 26, extrba 7090688 [, thread n]
EXTRACT altered.
--修改recovery checkpoint


GGSCI (win2k364) 4> alter exef ioextseqno 26, ioextrba 7088144 [, thread n]

2011-01-28 10:46:18  INFO    OGG-00989  WARNING: Unsupported operation. This might cause transactional inconsistency. Modifying iocheckpoint: ioseq = 26 iorba = 7088144.
Are you sure you want to continue? y
EXTRACT altered.

8)        确认所有参数文件正确，启动进程即可

4.2        Datapump和replicat拆分方法
下面以拆分replicat为例，datapump拆分方法相同。
1)        停止replicat进程
2)        查看检查点
GGSCI> INFO replicat_name, SHOWCH
3)        修改原有参数文件，将拆分出的表删除
4)        新增replicat，和拆分前的进程读取相同的队列文件
5)        修改检查点
6)        GGSCI>alter replicat_new extseqno 6, extrba 149258
7)        确认所有参数文件无误，启动进程即可


5        OGG异常处理预案
5.1        异常处理一般步骤
如果GoldenGate复制出现异常，可以通过以下步骤尝试解决问题：
1)        通过ggsci>view report命令查找ERROR字样，确定错误原因并根据其信息进行排除；
2)        通过ggsci>view ggsevt查看告警日志信息；
3)        检查两端数据库是否正常运行，网络是否连通；
4)        如不能确定错误原因，则可以寻求Oracle技术支持。在寻求技术支持时一般需要提供以下信息：
?        错误描述
?        进程报告，位于dirrpt下以大写进程名字开头，以.rpt结尾，如进程名叫extsz，则报告名字叫EXTSZ.rpt；
?        GGS日志ggserr.log，位于GGS主目录下；
?        丢失数据报告，在复制进程的参数disardfile中定义，一般结尾为.dsc；
?        当前队列，位于dirdat下。
5.2        网络故障
如果MGR进程参数文件里面设置了autorestart参数，GoldenGate可以自动重启，无需人工干预。
当网络发生故障时, GoldenGate负责产生远地队列的Datapump进程会自动停止. 此时, MGR进程会定期根据mgr.prm里面autorestart设置自动启动Datapump进程以试探网络是否恢复。在网络恢复后, 负责产生远程队列的Datapump进程会被重新启动，GoldenGate的检查点机制可以保证进程继续从上次中止复制的日志位置继续复制。
需要注意的是，因为源端的抽取进程（Capture）仍然在不断的抓取日志并写入本地队列文件，但是Datapump进程不能及时把本地队列搬动到远地，所以本地队列文件无法被自动清除而堆积下来。需要保证足够容量的存储空间来存储堆积的队列文件。计算公式如下：
存储容量≥单位时间产生的队列大小×网络故障恢复时间
MGR定期启动抓取和复制进程参数配置参考：
GGSCI > edit param mgr
port 7839
autorestart er *,waitminutes 3,retries 5,RESETMINUTES 60
每3分钟重试一次，5次重试失败以后等待60分钟，然后重新试三次。

5.3        RAC环境下单节点失败
在RAC环境下，GoldenGate软件安装在共享目录下。可以通过任一个节点连接到共享目录，启动GoldenGate运行界面。如果其中一个节点失败，导致GoldenGate进程中止，可直接切换到另外一个节点继续运行。建议在Oracle技术支持协助下进行以下操作：
1)        以oracle用户登录源系统（通过另一完好节点）；
2)        确认将GoldenGate安装所在文件系统装载到另一节点相同目录；
3)        确认GoldenGate安装目录属于oracle用户及其所在组；
4)        确认oracle用户及其所在组对GoldenGate安装目录拥有读写权限；
5)        进入goldengate安装目录；
6)        执行./ggsci进入命令行界面；
7)        执行start mgr启动mgr；
8)        执行start er *启动所有进程；
检查各进程是否正常启动，即可进入正常复制。以上过程可以通过集成到CRS或HACMP等集群软件实现自动的切换，具体步骤请参照国网测试文档。
5.4        Extract进程常见异常
对于源数据库，抽取进程extxm如果变为abended，则可以通过在ggsci中使用view report命令察看报告，可以通过搜索ERROR快速定位错误。
一般情况下，抽取异常的原因是因为其无法找到对应的归档日志，可以通过到归档日志目录命令行下执行 
ls –lt arch_X_XXXXX.arc
察看该日志是否存在，如不存在则可能的原因是：
1)        日志已经被压缩
GoldenGate无法自动解压缩，需要人工解压缩后才能读取。
2)        日志已经被删除
如果日志已经被删除，需要进行恢复才能继续复制，请联系本单位DBA执行恢复归档日志操作。
一般需要定期备份归档日志，并清除旧的归档日志。需要保证归档日志在归档目录中保留足够长时间之后，才能被备份和清除。即：定期备份清除若干小时之前的归档，而不是全部归档。保留时间计算如下：
某归档文件保留时间≥抽取进程处理完该文件中所有日志所需的时间
可以通过命令行或者GoldenGate Director Web界面，运行info exXX showch命令查看抓取进程exXX处理到哪条日志序列号。在此序列号之前的归档，都可以被安全的清除。如下图所示：


5.5        Replicat进程常见异常
对于目标数据库，投递进程repXX如果变为abended，则可以通过在ggsci中使用view report命令察看报告，可以通过搜索ERROR快速定位错误。
复制进程的错误通常为目标数据库错误，比如：
1)        数据库临时停机；
2)        目标表空间存储空间不够；
3)        目标表出现不一致。
可以根据报告查看错误原因，排除后重新启动rep进程即可。
需要注意一点：往往容易忽略UNDO表空间。如果DML语句中包含了大量的update和delete操作，则目标端undo的生成速度会很快，有可能填满UNDO表空间。因此需要经常检查UNDO表空间的大小。
5.6        抽取生成的队列文件比归档文件多
1)        现象
在国网多个网省的业务系统中出现了某一时间段内，OGG的抓取进程所产生的数据队列远远大于Oracle数据库所产生的归档日志，导致OGG队列存放位置空间不够用。
2)        原因分析
OGG本身是解析数据库的归档日志并从中获取有效的数据变化，在一般情况下其所抽取出来的数据队列要小于归档日志产生量。
但是，也有特殊情况，例如Oracle数据库在修改BLOB/CLOB/Long等占用空间特别大的数据对象时，为了降低日志的产生量及其对数据库整体性能的影响，其在数据库日志中只记录一个标识说明该字段发生了变化，但并不将该字段的Before Image和After Image真正写入日志，然后直接将新数据写到数据库覆盖原来的旧值；
OGG在进行数据复制时，为了能够使目标数据与源端保持一致，必须要在Trail里面写入update以后该字段after image的实际值，由于这些信息在日志文件中是没有的，OGG就会根据日志中记录的信息到数据库中去查询该大字段的实际值，将这个从数据库中获取的值放到队列文件中，日志文件是没有这个实际值的。由于这些对象非常大，也就导致OGG的队列文件会比日志增加了很多倍。队列文件具体增大的倍数决定于特定时间段内的大对象更新频率和每个大对象的实际值，实际应用中较难较精确计算，可以根据实际运行统计值对队列所需空间进行估算。
综上所述，队列文件较大完全是正常现象，数据全部能够正常入库也证实了我们的判断。
3)        解决方案
针对队列较大，可能引起空间不够的问题，以下为可选方案，可以根据各网省具体情况选择其中一个或者两个：
?        缩短保留队列的时间
可以调节OGG自动删除队列间的参数，缩短保留队列的时间。例如，在MGR的参数里面：
PURGEOLDEXTRACTS /ggs/dirdat/ *, USECHECKPOINTS, MINKEEPHOURS 96
其中，MINKEEPHOURS表示要保留队列的最小时间。如果当前为96，表示至少会保留4天的队列；经过观察现有磁盘空间大约可以满足2天多的队列，则可以修改为48。
修改后需重启MGR使新参数生效。MGR进程会自动删除超过指定时间的队列。
本方法在源和目标均适用。
说明：USECHECKPOINTS 表示OGG删除队列时必须要保证该队列已经被使用过了，那些没有被应用过的队列即使超过规定时间也是不会被自动删除的。
?        扩大磁盘空间
如果本地磁盘尚有空余，可以考虑为OGG增加磁盘空间。
本方法在源和目标均适用。
?        对磁盘空间进行监控
可以通过监控工具或脚本定时监控OGG所在位置的磁盘使用率，一旦到达即报警，交由相应人员改变保存队列策略或人工处理。
5.7        OGG的Extract进程占用内存较大
1)        现象
源端的Extract进程有占用较大内存。
2)        原因分析
OGG的Extract占用的内存包括两部分：
一部分用来存储复制表的结构等相关数据字典信息。此部分跟表的数量有关，但总量一般在几十兆以内，无需特别关注；
另外一部分用来存储当前数据库中所有未提交的交易数据，当事务提交后OGG会将内存中的数据写入Trail，然后释放内存。这是某些时候OGG的Extract进程占用内存较多的主要原因。
为了防止所需内存总量超过实际物理内存，OGG提供了cachemgr参数，可以在内存不够时使用本地硬盘作为缓存。举例如下：
CACHEMGR CACHESIZE 500MB, CACHEDIRECTORY /ggs/temp, CACHEDIRECTORY /ggs2/temp
本例中，如果OGG的Extract进程所需内存超过了500M，则会将交易数据写到指定的两个位置下作为虚拟内存。一旦这些交易提交，则会将这些虚拟内存与内存同样清除。
注：不推荐设置该参数时，默认OGG会将允许使用的内存64位系统设置为8G，32位系统为2G。默认的虚拟内存空间为安装目录下的dirtmp。
3)        排查方法与解决方案
一旦出现Extract报告内存问题，各网省可根据以下步骤进行排查和选择解决方案：
?        排查操作系统对于内存的限制
在主机上使用ulimit –a查看OGG运行用户（一般为oracle）用户在操作系统级的资源允许状况，例如：
time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack (kbytes)        unlimited
memory(kbytes)       unlimited
coredump(blocks)     4194303
nofiles(descriptors) 15000
这些限制的配置一般在/etc/security/limits文件里，建议将其中的data/stack/memory都设置为unlimited(-1)，至少要保证该配置可以让OGG使用cachemgr所允许的较大内存，可以联系系统管理员予以调整。
?        调整cachemgr参数
如果物理内存有限，而本地磁盘尚有空余，可以减小OGG的cachemgr参数中的CACHESIZE，如原来允许使用2G，现在可以修改为1G，不够可以去使用硬盘作为虚拟内存。
注：由于IO方面硬盘和内存差距较大，使用硬盘作为虚拟内存会带来性能方面的下降。
?        尝试重启Extract进程查看内存使用
OGG本身有自动调节资源占用的特性，即如果系统本身空闲，则其会自动申请更多资源加速数据复制；而如果系统资源紧张，则会释放部分资源给优先级更高的进程。
如果想尽快了解Extract进程内存占用是否正常，可以尝试重启进程，观察其内存占用是否正常。注意：重启Extract时检验其所需的归档日志是否存在，具体方法参照运维文档中停止OGG进程的步骤。
?        添加物理内存
如果系统日常业务繁忙阶段现有物理内存占用率非常高，则建议对系统进行内存扩容。在资源紧张情况下运行OGG数据复制会对业务系统的性能带来不利影响。
?        申请技术支持
如经过以上排查仍然无法排除内存相关问题，可以联系Oracle的支持工程师或在技术支持网站上填写SR，依据技术支持人员要求的步骤提供相关的信息，协助尽快完成问题界定和解决。
5.8        OGG的Replicat进程占用内存较大
1)        现象
目标端的Replicat进程有占用较大内存。
2)        原因分析
OGG的Replicat负责将队列文件中的数据读取出来然后投递到目标数据库，由于每个Replicat进程处理交易依次进行的，其占用的内存决定于队列中的交易大小。但是OGG的Replicat进程本身在申请到内存后，并不一定随着事务的commit立即释放，同Extract一样在系统资源较为充足时，其会试图保留一定时间，而发现系统资源紧张时又会释放掉部分资源。
默认情况下，OGG是严格按照源端产生的交易依次进行提交，本身不改变交易的边界，但是有时候为了避免大交易需要读取大量队列文件以及在目标端数据投递需要大量资源，OGG提供了MAXTRANSOPS参数用于将大交易拆分为较小的交易多次提交，除去性能的提升外还能让管理人员更为实时的看到数据投递的变化。例如：
MAXTRANSOPS 1000
表示如果单个交易中的实际数据变化量超过了1千，replicat会每1千条进行一次提交。由于OGG的队列中全部是提交了的交易，使用此参数后只是交易被拆分为了多个依次提交，并不改变数据变化的顺序，所以对一致性并不影响。
需要注意的是使用MAXTRANSOPS时，如果出现了系统异常如目标数据库宕机，有可能出现Replicat的检查点还处在交易开始点，但实际已经投递到大交易的中间某个点了，这样再次重启会报告一些数据错误。此时可以通过使用reperror default,discard将这些冲突数据写入discard文件，等待追上后再去验证这部分数据在两端是否一致，一般情况下不需要重新初始化，如有问题可以联系技术支持予以协助。
（说明：OGG的GROUPTRANSOPS参数会将小交易合并为大一些的交易进行提交，也会改变交易边界，但一般不对资源要求产生较大影响）
3)        排查方法与解决方案
一旦出现Replicat报告内存问题或出现异常，各网省可根据以下步骤进行排查和选择解决方案：
?        排查操作系统对于内存的限制
在主机上使用ulimit –a查看OGG运行用户（一般为oracle）用户在操作系统级的资源允许状况，例如：
time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack (kbytes)        unlimited
memory(kbytes)       unlimited
coredump(blocks)     4194303
nofiles(descriptors) 15000
这些限制的配置一般在/etc/security/limits文件里，建议将其中的data/stack/memory都设置为unlimited(-1)，至少要保证该配置可以让OGG使用较大交易所允许的较大内存，可以联系系统管理员予以调整。
?        对于大交易配置MAXTRANSOPS参数
当遇到较大交易时，OGG需要大量的时间读取所有交易数据信息，然后一次性投递到目标库。配置MAXTRANSOPS参数可以在遇到大交易时无需等待读完所有的交易数据再提交，能够提高性能的同时使监控人员在短时间内看到复制的进展。按照经验，一般MAXTRANSOPS配置为1000以下，如果处理的表列比较多或者列很长，可以设置为几百甚至几十。
MAXTRANSOPS 500
?        尝试重启Replicat进程查看内存使用
OGG本身有自动调节资源占用的特性，即如果系统本身空闲，则其会自动申请更多资源加速数据复制；而如果系统资源紧张，则会释放部分资源给优先级更高的进程。
如果想尽快让Replicat进程内存释放，可以尝试重启进程，观察其内存占用是否正常。
?        添加物理内存
如果系统日常业务繁忙阶段目标库现有物理内存占用率非常高，则建议对系统进行内存扩容满足复制的资源要求。
?        申请技术支持
如经过以上排查仍然无法排除内存相关问题，可以联系Oracle的支持工程师或在技术支持网站上填写SR，依据技术支持人员要求的步骤提供相关的信息（有时需要打开进程的trace），协助尽快完成问题界定和解决。
5.9        关于handlecollisions的说明
1)        问题描述
前期国网部分网省使用了handlecollisions参数，希望能够了解该参数与数据一致性的关系。
2)        问题说明
在前期的文档和实施模板中，Oracle从未建议使用Handlecollisions参数。该参数的使用仅限于当所有表均有主键、且无法使用scn号进行一致的数据初始化时才可以使用，它可以根据主键对Extract抽取的时间点和备份之间点之间的数据重合进行自动的处理，例如忽略某些错误。所以，在正常复制过程中，如果打开了该参数，则会忽略error mapping数据错误，而且不会报告到discard文件，所以除非认定可以忽略这些数据不一致错误，否则不建议使用handlecollisions参数！
Oracle始终建议第一选择是停机初始化，第二选择是使用rman或者带scn号的exp/imp做不停机的一致性初始化，这两种方法均不需要使用handlecollisions参数，具体方法请参照Oracle提供的模板文档《xx省Oracle数据复制实施方案》。
5.10        Discard掉的数据如何处理
1)        问题描述
对于某些replicat进程将不能正确复制的数据写入到了discard文件中，需要了解如何对这些discard掉的数据进行处理。
2)        问题说明
Oracle建议在replicat中设置错误处理为默认的出错即停的方式，即：
reperror default,abend
此种模式下，只要出错进程就会abend，然后监控人员可以根据报告文件和discard文件中的错误信息对错误进行定位，经修复后重启进程，如此可以保证两端数据的严格一致。
如果有的replicat将错误处理模式设置成了reperror default,discard模式，则会数据出错后只是将错误数据丢到discard文件里面，然后继续下面的处理。由于后继的数据复制还在继续，此时discard中丢失的数据已经无法被恢复，只能将discard文件中所有出错的表进行重新初始化，具体方法请参照《运维方案》第3.2节。
reperror default还有一个ignore模式，该模式是忽略所有错误继续运行，不会留下任何错误信息，一定不要使用！

5.11        生产端I/O性能问题
1)        问题描述
山东等地出现了源系统I/O压力较大的情况，在此予以说明。
2)        问题说明
OGG对于源端的I/O压力主要体现在：
?        主Extract进程对于数据库日志文件的轮询读；
?        主Extract进程对于其检查点文件的定时写；
?        主Extract对于本地队列的写；
?        Data Pump对于本地队列的读；
根据调查和我们的经验， IO压力大的原因就在于配置了过多的主Extract进程，大量主Extract进程对于数据库日志文件的读造成系统IO压力过大。其解决方案包括：
3)        问题解决较佳方案
重新对OGG进行配置，减少extract的数量。一般主Extract的处理能力比较强，依据硬件平台不同每小时处理20-50G日志是没有问题的，所以一般只需配置1-3个主Extract.OGG数据复制的瓶颈主要在于目标端的replicat进程，可以在目标端对replicat进程进行拆分提高投递性能，但源端的Extract并不需要如此拆分。
4)        问题解决可选方案(效果可能有限)
可以通过对OGG的主Extract进程加大轮询日志间隔来降低IO占用:
EOFDELAY 5  //将轮询日志的时间设置为5秒，默认为1秒
CHECKPOINTSECS 20 //将写检查点的时间设置为20秒，默认为10秒
这两个参数对于data Pump同样有效，关于这两个参数的更多信息可以参考OGG的参考手册。
注意调节这两个参数可能会使数据复制的延迟相应增大若干秒。


5.12        CSN取值问题
1)        问题描述
RMAN在线备份恢复方式进行数据库初始化，容灾端第一次启动rep进程的CSN采用归档文件最后的SCN号，但仍会有error mapping的报错？用导入导出的方式从新初始化某个表的话，该如何启动进程才能保证数据的一致性，停业务是不可能的？在map中修改某个表从某个csn开始抽取的话，如何去这个csn的值，是否是datafile_header中的？。
2)        说明
关于Rman初始化的步骤，可以参照我们的实施方案模板，里面有具体的操作步骤，包括如何去csn号，只要目标恢复到的scn号与replicat启动的scn号是一致的就不应该有数据冲突。但是需要排除以下可能导致数据修改的因素：
?        数据库是否有内在的job在目标端运行；
?        操作系统是否有定时任务在修改数据；
?        目标数据库的trigger是否全部被禁用了；
?        目标库的外键是否被全部禁用；
?        建议锁定目标库的除OGG以外所有数据库用户，防止其修改数据。
等等，这些因素可能会导致目标本身数据发生变化，产生与源端数据变化的冲突。
5.13        两端数据不一致的排查与解决
5.13.1        现象
在执行数据对比过程中，部分网省的业务系统中发现有部分表在两端的记录是不一致的。
5.13.2        原因分析与排查
两端出现数据不一致的原因非常多，下面是对比结果有差异的一些可能性因素：
1)        数据复制本身的延时
由于源端数据可能一直在变化，而对比只能取当时时间的数据，两端取出来的数据有一定差异，所以有可能带来对比结果不一致。
此时并不一定是复制出现问题，可以针对这些不一致的记录做进一步的观察，过一段时间进行再确认。
2)        目标库数据库内部存在内部导致修改数据的对象和机制
可能包括数据库中的对象：如没有被禁止的trigger、自动运行的job等。
3)        操作系统上的job Scheduler
可能是存在操作系统上的job，可以检查其所有用户的crontab等自动任务管理器。
4)        OGG的错误处理模式设置
OGG的replicat里面的错误处理模式默认为是abend模式，即只要有数据问题进程就会出错结合监控告警：
REPERROR DEFAULT, ABEND
该参数的其它配置包括DISCARD和IGNORE模式。如果是discard模式，则出错会被写到discard文件里面，可以查找discardfile指定的该文件是否有出错记录；而如果是ignore模式则会忽略所有错误，而且不记日志。
请务必将Replicat错误处理机制设置为abend模式！仅仅在错误处理等特殊情况下配合技术支持使用DISCARD模式。
5)        修改OGG的检查点
人为修改OGG的检查点有可能带来数据不一致，包括使用alter命令修改主extract/data pump/replicat等。所有ggsci中对进程的操作记录都记录在ggserr.log里面，只要用户没有手工清除，可以通过对该文件进行分析观察是否修改过检查点。
6)        OGG配置的逻辑错误
主要包括以下配置复制关系时的错误：
?        所有Extract表的复制范围必须是互补的，且互不交叉的，不能存在需要复制但不包含在任何一个主extract中的情况；
?        Data Pump的复制范围必须和主Extract保持一致；
?        Replicat的复制范围同样必须对应于主Extract和Data Pump的所有表，且负责相同队列的各Replicat之间互补和无交集；

7)        OGG配置参数的正确性
有时如果OGG的参数文件中语法问题也会造成数据不一致。例如：
?        在Extract的table语法错误。正确语法：
table ggs1.tcustmer;
即table关键字+空格+schema.tablename+分号。
?        Replicat的map语句出现错误。正确语法：
MAP ggs1.TCUSTMER, TARGET ggs2.TCUSTMER;
即map关键字 + 空格 + source_schema.source_tablename + 逗号 + 空格 + target关键字 + source_schema.source_tablename + 分号。如果写错格式会导致OGG无法将正确数据投递到目标表。
?        OGG的关键字前后、逗号前后建议加入空格（英文，一定不要用全拼），一行的开头不用。OGG有时会将中间没有空格的多个关键字连在一起视作一个字符串。
?        不可使用word等格式化工具编辑OGG参数然后上传，可能会带来比如空格、换行等问题。

8)        其它可能导致数据不一致的因素
如人工误操作。为了减少类似可能出现的问题，建议在日常灾备运行状态下目标数据库disable除去OGG的用户之外的其它所有用户，等接管时再重新enable。

如果以上均没有问题，可以提供源库和目标库的以下资料，由技术支持进行分析：
?        OGG的ggserr.log
?        所有的报告文件
?        丢失数据的大致操作时间
?        丢失数据相关时段的归档日志

5.13.3        解决方案
根据不一致数据表的多少以及不一致数据的条数，可以采取以下方案：
1)        人工补足少量的数据
在确认只有部分表的若干条数据不一致后，可以使用手工方法对不一致的数据进行重新再同步，即从源端找出当前的值，覆盖目标表的相关记录。本方法只适用于不一致数据较少的情况，如从discard文件中可以找到有限的出错记录。
2)        执行部分表的初始化
当其中某些表不同步，而数据条数较多时，可以对该部分表执行重新初始化，具体步骤参见运维文档的第5.5节。
3)        全部重新初始化
当大部分表出现不一致的情况时，需要对全库执行重新初始化，可以按照安装实施文档的步骤执行，之前请务必保证安装实施文档中的步骤正确性，如有问题可以联系技术支持。
5.14        AIX GGSCI无法运行
错误信息：
Cannot load ICU resource bundle 'ggMessage', error code 2 - No such file or directory
Cannot load ICU resource bundle 'ggMessage', error code 2 - No such file or directory
IOT/Abort trap (core dumped)
或者ggsci可以启动，但是运行任何命令都报上面的错误。
处理方法：通常使用已有的mount点安装GoldenGate，在mount时使用了并发CIO参数。新建文件系统，重新mount，作为GoldenGate安装目录。
错误信息：
$ ./ggsci
exec(): 0509-036 Cannot load program ggsci because of the following errors:
        0509-130 Symbol resolution failed for ggsci because:
        0509-136   Symbol _GetCatName__FiPCc (number 158) is not exported from dependent module /usr/lib/libC.a[ansi_64.o].
        0509-136   Symbol _Getnumpunct__FPCc (number 162) is not exported from dependent module /usr/lib/libC.a[ansi_64.o].
        0509-136   Symbol __ct__Q2_3std8_LocinfoFPCci (number 183) is not exported from dependent module /usr/lib/libC.a[ansi_64.o].
        0509-192 Examine .loader section symbols with the 'dump -Tv' command.
原因是XLC是6.0版本，升级XLC版本到10.1以上，问题解决
5.15        HP-UX GGSCI无法运行
错误信息：core dumped
该问题只在HP-UX11.31上发现。
处理方法：环境变量设置问题，参见“1.1 操作系统环境变量”小节
错误信息：
aCC runtime: Use of "-mt" must be consistent during both compilation and linking.
IOT core dumped
该问题在HP-UX 11.23上发现，原因是没有C＋＋运行环境
On HP-UX 11.23 IA64, Oracle GoldenGate requires aCC: HP aC++/ANSI C B3910B 
A.06.05 or newer aC++ libraries. PHSS_34041 or newer is required.
处理方法：安装补丁包

5.16        OGG-xxxxx错误代码
本节为ogg具体错误代码的问题处理方式
5.16.1        OGG-01296
错误信息：
WARNING OGG-01154  Oracle GoldenGate Delivery for Oracle, repyxb.prm:   SQL  error 1403 mapping SGPM.P_SMS_SEND to SGPM.P_SMS_SEND.
WARNING OGG-01003  Oracle GoldenGate Delivery for Oracle, repyxb.prm:  Repositioning to rba 2509817 in seqno 1.
ERROR   OGG-01296  Oracle GoldenGate Delivery for Oracle, repyxb.prm:  Error mapping from SGPM.P_SMS_SEND to SGPM.P_SMS_SEND.
ERROR   OGG-01668  Oracle GoldenGate Delivery for Oracle, repyxb.prm:  PROCESS ABENDING.
原因分析：由于源端进行了表结构更改，没有通知目标端，导致此错误
处理方法：
1)        先确认两端表结构是否一致
2)        在源端查看附加日志是否enable
GGSCI>INFO TRANDATA schema.table_name
--返回应该是enable，如果不是，重新添加
GGSCI>ADD TRANDATA schema.table_name
3)        目标端数据库：触发器，约束，job等是否已经禁止
4)        查看discard文件（./dirrpt/xxx.dsc）中的相关描述
5)        使用logdump查看实际数据，分析原因
5.16.2        OGG-01154
错误信息：
2011-03-29 15:53:57  WARNING OGG-01154  Oracle GoldenGate Delivery for Oracle, repya.prm:  SQL error 14402 mapping EPMA.D_METER to E
PMA.D_METER OCI Error ORA-14402: updating partition key column would cause a partition change (status = 14402), SQL .
处理方法：
SQLPLUS>alter table SCHEMA.TABLENAME enable row movement
5.16.3        OGG-01088
错误信息：
ERROR   OGG-01088  Oracle GoldenGate Delivery for Oracle, pms_rep1.prm:  malloc 2097152 bytes failed.
ERROR   OGG-01668  Oracle GoldenGate Delivery for Oracle, pms_rep1.prm:  PROCESS ABENDING.
处理方法：
1)        ulimit -a，验证操作系统对用户是否所有资源都是无限制，参见1.3小节。
2)        将进程进行拆分，拆分为多个进程。
3)        从support.oracle.com下载的补丁包，升级GoldenGate。
5.16.4        OGG-01224
错误信息：
ERROR OGG-01224 Oracle GoldenGate Manager for Oracle, mgr.prm: No buffer space available
ERROR OGG-01224  Oracle GoldenGate Capture for Oracle, dpema.prm:  TCP/IP error 9 (Bad fil e number).
处理方法：
修改mgr.prm，扩大动态端口范围，dynamicportlist 7840-7914
5.16.5        OGG-01031
错误信息：
ERROR   OGG-01031  There is a problem in network communication, a remote file problem, encryption keys for target and source do not match (if using ENCRYPT) or an unknown error. (Reply received is Expected 4 bytes, but got 0 bytes, in trail ./dirdat/t1000026, seqno 26, reading record trailer token at RBA 103637218).
2011-01-06 11:04:16  ERROR   OGG-01668  PROCESS ABENDING.
原因分析（1）：
可能是网络出现过故障，OGG源端的Data Pump进程与目标断了联系，目标端mgr为其启动的server进程一直还在运行，下次data pump重启时目标mgr会试图生成另外一个server进程，这样两个进程会争同一个队列文件。
处理方法：
是停掉源端的所有data pump，使用ps –ef|grep server（或OGG安装目录）看看是不是还有OGG的server进程在跑，如果有，杀死它（一定要确认源端data pump全停掉，并且杀的是server进程，不要杀其它extract/replicat/mgr等），重启源端data pump即可。
原因分析（2）：
可能是目标端的trail file出问题了，前滚重新生成一个新的队列文件
处理方法：
SEND EXTRACT xxx ROLLOVER
或者：
alter extract xxx etrollover
xxx为datapump的名称
5.16.6        OGG-01072
错误信息：
ERROR OGG-01072 LOBROW_get_next_chunk(LOBROW_row_t *, BOOL, BOOL, BOOL, LOBROW_chunk_header_t *, char *, size_t, BOOL, *) Buffer overflow, needed:132, alloc 2.
处理方法：
1)        如果版本为11.1.1.0.1 Build 078版本，升级到的补丁包
2)        使用ulimit –a查看资源使用限制，调整资源为unlimited
3)        extract: DBOPTIONS LOBBUFSIZE
4)        replicat: DBOPTIONS LOBWRITESIZE 1MB
5.16.7        OGG-01476
错误信息：
ERROR   OGG-01476  The previous run abended due to an out of order transaction. Issue ALTER ETROLLOVER to advance the output trail sequence past the current trail sequence number, then restart. Then, use ALTER EXTSEQNO on the subsequent pump EXTRACT, or REPLICAT, process group to start reading from the new trail file created by ALTER ETROLLOVER; the downstream process will not automatically switch to the new trail file.
在初始化的时候，由于容灾端没有准备就绪，在生产端来回进行了很多次的操作，导致生产端抽取混乱，此时在进行RMAN之前，重新启动抽取，忽略调之前的混乱信息。
处理方法：
RAC环境，查看时钟是否同步
参数文件增加：
THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 7000 IOLATENCY 7000
7000可以进行大小调整
如果还有问题：
alter extract xxx, etrollover
## 启动data pump进程后，datapump会报错，错误信息大致是进程当前的队列文件（假设是65）已经读完，但是找不到文件结尾标志，同时又发现新的队列文件（假设是66）已经生成。这个时候应该手工将datapump滚动到这个新的队列文件头（66）
##修改Data Pump从新的队列开始传输
stop [pump_name]
ALTER EXTRACT [pump_name], EXTSEQNO ##### EXTRBA 0
start [pump_name]
注：用实际的datapump进程名代替 [pump_name]，用新的队列文件号代替#####
##重启Data Pump查看是否能够重启成功并从新的队列传输
##启动Replicat，观察其是否能够读取新传输过来的队列
##如Replicat无法自动滚动到下一个队列，需要通过命令手工滚动
stop [replicat_name]
alter replicat [replicat_name], EXTSEQNO ##### EXTRBA 0
start [replicat_name]
注：用实际的replicat进程名代替 [replicat_name]，用新的队列文件号代替#####
##重新启动Replicat即可恢复正常复制
5.16.8        OGG-00850
错误信息：
ERROR   OGG-00850  Oracle GoldenGate Capture for DB2, extxa.prm:  Database instance XP1 has both USEREXIT and LOGRETAIN set to off.
ERROR   OGG-01668  Oracle GoldenGate Capture for DB2, extxa.prm:  PROCESS ABENDING.
处理方法：
如果是DB2 8.1/8.2，必须将USEREXIT和LOGRETAIN设置为ON。
如果是DB2 9.5，已经使用LOGARCHMETH1和LOGARCHMETH2代替以上两个参数，通常LOGARCHMETH1为DISK，LOGARCHMETH2为TSM，采用这两个参数开启归档模式。在DB2 9.5中，USEREXIT可以设置为OFF，但是LOGRETAIN仍需设置为ON。
因此LOGARCHMETH1需设置为LOGRETAIN，LOGARCHMETH2设置为OFF
经过现场测试：LOGARCHMETH1=TSM and LOGARCHMETH2=OFF 可以正常工作
5.16.9        OGG-01416
错误信息：
ERROR   OGG-01416  Oracle GoldenGate Capture for Oracle, dpeya.prm:  File ./dirdat/ya001542, with format RELEASE 9.0/9.5, does not match current format specification of RELEASE 10.4/11.1. Modify the parameter file to specify format RELEASE 9.0/9.5 or issue ETROLLOVER prior to restart.
2011-03-14 15:04:12  ERROR   OGG-01668  Oracle GoldenGate Capture for Oracle, dpeya.prm:  PROCESS ABENDING.
处理方法：
ALTER EXTRACT xxx etrollover
后续步骤参照OGG-01476进行处理。
## 启动data pump进程后，datapump会报错，错误信息大致是进程当前的队列文件（假设是65）已经读完，但是找不到文件结尾标志，同时又发现新的队列文件（假设是66）已经生成。这个时候应该手工将datapump滚动到这个新的队列文件头（66）
##修改Data Pump从新的队列开始传输
stop [pump_name]
ALTER EXTRACT [pump_name], EXTSEQNO ##### EXTRBA 0
start [pump_name]
注：用实际的datapump进程名代替 [pump_name]，用新的队列文件号代替#####
##重启Data Pump查看是否能够重启成功并从新的队列传输
##启动Replicat，观察其是否能够读取新传输过来的队列
##如Replicat无法自动滚动到下一个队列，需要通过命令手工滚动
stop [replicat_name]
alter replicat [replicat_name], EXTSEQNO ##### EXTRBA 0
start [replicat_name]
注：用实际的replicat进程名代替 [replicat_name]，用新的队列文件号代替#####
  ##重新启动Replicat即可恢复正常复制
5.16.10        OGG-01028
错误信息：
"2011-03-15 16:18:21  ERROR   OGG-01028  Oracle GoldenGate Capture for Oracle, ext_rop1.prm:  failed to retrieve all chained row fragments for table ECMSADM.CMS_AMP_MOB_BELL_OC, record #19401, in transaction 34.165.3 (0x0022.0a5.00000003).  Position (24502, 39484028).2011-03-15 16:18:21  ERROR   OGG-01668  Oracle GoldenGate Capture for Oracle, ext_rop1.prm:  PROCESS ABENDING."Issue resembles Bug 9779752: EXTRACT ABEND WITH GGS ERROR 190  FAILED TO RETRIEVE ALL CHAINED ROW FRAGMENTS, which should have been fixed in version 10.
处理方法：
升级GoldenGate，Patch number 12418339
5.16.11        OGG-01027（长事务）
在extract中添加：
WARNLONGTRANS 2h,CHECKINTERVAL 3m
ggserr.log文件中会记录大事务警告
WARNING OGG-01027  Long Running Transaction: XID 82.4.242063, Items 0, Extract YX_EXT1, Redo Thread 1, SCN 2379.2132775890 (10219859973074), Redo Seq #5688, Redo RBA 195997712.

GGSCI> send extract xxx, showtrans [thread n] [count n]
thread n是可选的，表示只查看其中一个节点上的未提交交易；
count n也是可选的，表示只显示n条记录。
例如：查看xxx进程中节点1上最长的10个交易，可以通过下列命令：
GGSCI> send extract extsz , showtrans thread 1 count 10
记录XID，通过DBA查找具体的长交易执行的内容
GGSCI> SEND EXTRACT xxx, SKIPTRANS <82.4.242063> THREAD <2> //跳过交易
GGSCI>SEND EXTRACT xxx, FORCETRANS <82.4.242063> THREAD <1> //强制认为该交易已经提交
使用这些命令只会让GoldenGate进程跳过或者认为该交易已经提交，但并不改变数据库中的交易，他们依旧存在于数据库中。因此，强烈建议使用数据库中提交或者回滚交易而不是使用GoldenGate处理。
查找长事务对应的SQL语句：
XID由三部分组成：XIDUSN.XIDSLOT.XIDSQN
通过以下语句查找对应的SQL语句
select /*+ rule*/b.USERNAME,b.SCHEMANAME,b.OSUSER,b.MACHINE,c.SQL_TEXT
from v$transaction a, v$session b, v$sql c
where a.XIDUSN = 5
and a.XIDSLOT = 42
and a.XIDSQN = 1920
and a.ADDR = b.TADDR
and b.SQL_ADDRESS = c.ADDRESS
and b.SQL_HASH_VALUE = c.HASH_VALUE;


5.17        队列文件保存天数
在mgr.prm中，添加：
PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
修改之后，必须重启manager即可看到队列文件占用的空间被按照上面指定的规则释放。
如果存储空间不够，可以将minkeepdays修改为MINKEEPHOURS
很多网省源端存储空间不足，这样修改为最小保留的小时数，缓解存储空间不足。
如果空间仍然紧张，仍要求立即释放空间，可修改为：MINKEEPFILES，将值设置为1，即只保留一个处理过的队列文件（不建议使用）。
如果存储空间充裕，建议最少保留3天的队列文件。
5.18        队列文件不自动清除
首先确认manager参数文件mgr.prm中是否添加了定期清除参数：
PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
修改之后，必须重启manager即可看到队列文件占用的空间被按照上面指定的规则释放。
如果还是没有删除，通过：GGSCI>INFO XXX, SHOWCH，查看是否存在多个Write Checkpoint，一个为相对路径，一个为路径
原因如下：
1)        源端：
在增加extract和datapump时，在GGSCI命令行指定的路径和参数文件中的不一致，如果在命令行使用路径，在参数文件中必须使用路径。如果使用了相对路径，则统一采用相对路径。
2)        目标端：
在GGSCI增加datapump时，RMTTRAIL如果使用了相对路径，在增加replicat时必须使用相对路径。
处理方法：
GGSCI>INFO XXX, SHOWCH
GGSCI>INFO XXX
记录相关信息，删除不正确路径的exttrail
通过alter命令设置为上面INFO信息记录的检查点
GGSCI>alter xxx extseqno INFO看到的序列号, extrba INFO看到的RBA号码, [thread n]
GGSCI>start xxx
3)        举例：
GGSCI > info exttrail *

       Extract Trail: /ggsfs/dirdat/cw
             Extract: DPECW
               Seqno: 0
                 RBA: 0
           File Size: 50M
       Extract Trail: ./dirdat/cw
             Extract: DPECW
               Seqno: 365
                 RBA: 8497768
           File Size: 10M
可以看到有两个路径，一个是相对路径./dirdat/cw，一个是路径：/ggsfs/dirdat/cw
GGSCI > stop dpecw
Sending STOP request to EXTRACT DPECW ...
Request processed.

GGSCI > status dpecw
EXTRACT DPECW: STOPPED

GGSCI > info dpecw
EXTRACT    DPECW     Last Started 2011-03-23 11:03   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:00:09 ago)
Log Read Checkpoint  File /ggsfs/dirdat/cw000365
                     2011-04-07 14:10:01.000000  RBA 4558731
记录seqno：365和rba：4558731
GGSCI > stop extcw
Sending STOP request to EXTRACT EXTCW ...
Request processed.
GGSCI > info exttrail *
       Extract Trail: /ggsfs/dirdat/cw
             Extract: DPECW
               Seqno: 0
                 RBA: 0
           File Size: 50M
       Extract Trail: ./dirdat/cw
             Extract: DPECW
               Seqno: 365
                 RBA: 8497768
           File Size: 10M

       Extract Trail: /ggsfs/dirdat/cw
             Extract: EXTCW
               Seqno: 0
                 RBA: 0
           File Size: 50M
       Extract Trail: ./dirdat/cw
             Extract: EXTCW
               Seqno: 365
                 RBA: 4657905
           File Size: 10M
可以看到extcw和dpecw都存在问题
删除多余的exttrail
GGSCI > delete exttrail /ggsfs/dirdat/cw
Deleting extract trail /ggsfs/dirdat/cw for extract DPECW
Deleting extract trail /ggsfs/dirdat/cw for extract EXTCW
GGSCI > info exttrail *
       Extract Trail: ./dirdat/cw
             Extract: DPECW
               Seqno: 365
                 RBA: 8497768
           File Size: 10M
       Extract Trail: ./dirdat/cw
             Extract: EXTCW
               Seqno: 365
                 RBA: 4657905
           File Size: 10M
确认已经正常
GGSCI > info extcw
EXTRACT    EXTCW     Last Started 2011-04-07 14:16   Status RUNNING
Checkpoint Lag       00:00:58 (updated 00:00:07 ago)
Log Read Checkpoint  Oracle Redo Logs
                     2011-04-07 14:15:30  Seqno 10726, RBA 151756800
确认和之前info extcw时的信息一致，启动extcw
GGSCI (ora5502) 18> start extcw
Sending START request to MANAGER ...
EXTRACT EXTCW starting
GGSCI > info dpecw

EXTRACT    DPECW     Initialized   2011-03-23 11:03   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:02:19 ago)
Log Read Checkpoint  File /ggsfs/dirdat/cw000365
                     2011-04-07 14:10:01.000000  RBA 4558731

GGSCI > alter dpecw, exttrailsource ./dirdat/cw
EXTRACT altered.

GGSCI > info dpecw

EXTRACT    DPECW     Initialized   2011-04-07 14:17   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:00:03 ago)
Log Read Checkpoint  File ./dirdat/cw000000
                     First Record  RBA 0

GGSCI> alter dpecw, extseqno 365, extrba 4558731
EXTRACT altered.

GGSCI> info dpecw
EXTRACT    DPECW     Initialized   2011-04-07 14:17   Status STOPPED
Checkpoint Lag       00:00:00 (updated 00:00:03 ago)
Log Read Checkpoint  File ./dirdat/cw000365
                     First Record  RBA 4558731

GGSCI> start dpecw
Sending START request to MANAGER ...
EXTRACT DPECW starting
GGSCI (ora5502) 31> info dpecw
EXTRACT    DPECW     Last Started 2011-04-07 14:18   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:00:29 ago)
Log Read Checkpoint  File ./dirdat/cw000365
                     First Record  RBA 4558731
5.19        复制进程拆分及指定队列文件及RBA
拆分前通过INFO XXX获取队列文件信息及RBA号，返回样例如下：
GGSCI> INFO REPYXA
REPLICAT   REPYXA    Last Started 2011-01-08 19:48   Status RUNNING
Checkpoint Lag       00:00:00 (updated 00:01:42 ago)
Log Read Checkpoint  File ./dirdat/p1000556 First Record  RBA 59193235
在将replicat进程拆分后，指定从拆分前的队列文件及RBA号码开始复制。
ALTER REPLICAT xxx EXTSEQNO nnn, EXTRBA mmm
以上面的为例：
ALTER REPLICAT REPYXA 556, EXTRBA 59193235
5.20        BOUNDED RECOVERY
错误信息：
BOUNDED RECOVERY: reset to initial or altered checkpoint.
数据库问题，不能读取第2个节点的archivelog文件
5.21        排除不复制的表
在参数文件中增加：
TABLEEXCLUDE schema.table_name
5.22        从指定时间重新抓取
重新抓取数据前提：归档文件没有删除
ALTER EXTRACT xxx, TRANLOG, BEGIN 2010-12-31 08:00
时间格式：yyyy-mm-dd [hh:mi:[ss[.cccccc]]]
如果是新建：
ADD EXTRACT xxx, TRANLOG, BEGIN 2010-12-31 08:00
5.23        进程无法停止
通常情况是在处理大交易，尤其在营销系统中有很多超过2小时以上的大交易，建议等待进程处理完毕。
处理方法：如果必须停止进程，可以强制杀死进程：
send xxx forcestop
5.24        CLOB处理
如果包含CLOB字段，在extract 参数文件中必须添加：
TRANLOGOPTIONS CONVERTUCS2CLOBS
5.25        DB2不能使用checkpoint table
处理方法：在增加replicat进程时使用nodbcheckpoint参数：
add replicat xxx, exttrail /goldengate/dirdat/rb, nodbcheckpoint

5.26        Datapump进程每次只传一个文件
错误信息：
Datapump进程每次只传一个文件，然后就不工作了，状态是Running，重启之后，开始传下一个文件，需要不断重启才行
原因：AIX使用裸设备，没有添加参数。
处理方法：原来只是要求在extract中添加，在datapump中也需要添加
TRANLOGOPTIONS rawdeviceoffset 0
很多HP-UX出现不向目标端传输文件，是因为错误设置了上面的参数，将该参数从参数文件中删除即可。如果不是AIX使用裸设备，不要设置该参数。
5.27        Extract进程产生core文件
错误信息：extract运行一段时间，状态是running，但是不工作，在安装目录产生core文件，大约200M
原因：AIX没有使用裸设备，但是在参数文件中写了裸设备的参数
TRANLOGOPTIONS rawdeviceoffset 0
处理方法：将该参数删除
5.28        中文字节数问题
错误信息：
2011-01-19 22:58:30  WARNING OGG-00869  OCI Error ORA-12899: value too large for column "SAPR3"."ADRC"."MC_STREET" (actual: 86, maximum: 75) (status = 12899), SQL
ME2","NAME3","NAME4","NAME_TEXT","NAME_CO","CITY1","CITY2","CITY_CODE","CITYP_CODE","HOME_CITY","CIT>.
2011-01-19 22:58:30  WARNING OGG-01004  Aborted grouped transaction on 'SAPR3.ADRC', Database error 12899 (ORA-12899: value too large for column "SAPR3"."ADRC"."MC_STREET" (actual: 86, maximum: 75)).
2011-01-19 22:58:30  WARNING OGG-01003  Repositioning to rba 15479755 in seqno 11.
2011-01-19 22:58:30  WARNING OGG-01154  SQL error 12899 mapping SAPR3.ADRC to SAPR3.ADRC OCI Error ORA-12899: value too large for column "SAPR3"."ADRC"."MC_STREET" (actual: 86, maximum: 75) (status = 12899), SQL .
2011-01-19 22:58:30  WARNING OGG-01003  Repositioning to rba 15479755 in seqno 11.
原因：中文字符问题，源端每个中文字符占2个字节，目标端每个占3个字节，
处理方法：SR 3-2456706611
首先确认参数文件中的NLS_LANG和数据库设置一致。
1)        确认两个数据库的字符语义相同
参考SQL:
SQL> show parameter nls
NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
nls_language                         string      AMERICAN
nls_length_semantics                 string      BYTE
nls_territory                        string      AMERICA

2)        确认两端源和目标表的结构相同
参考SQL:
Select dbms_metadata.get_ddl('TABLE','#MyTable','My Owner') from dual;

3)        确认两端源和目标表的出错列的字符语义相同。
参考SQL：
select CHAR_USED,CHAR_LENGTH from dba_tab_columns where owner='WHETC' and table_name='CBS_RUNNINGNUMBER_NOBU' and column_name in ('CPSBBZ', 'XCFX');
4)        确认操作系统环境变量
确保两端操作系统级别，语言环境变量一致，包括：LANG，NLS_LANG等

5.29        中文表/中文字段处理
create table 测试表(
ID NUMBER,
姓名 VARCHAR2(30),
FLAG CHAR(1),
CONSTRAINT PK_TESTD PRIMARY KEY (ID) USING INDEX);

--源端创建MV LOG和MV：
drop materialized view log on "测试表";
create materialized view log on "测试表" with primary key;
drop materialized view mv_cn_table;
create materialized view mv_cn_table refresh fast on commit as select id,姓名 as en_name,flag from "测试表";

--目标端创建表及view
create or replace view v_cn_table as select id,姓名 as en_name,flag  from 测试表;

--这里NLS_LANG在GG中，抽取和复制必须设置为和目标字符集一致
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")

--Extract
extract ODISC
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")
userid custom_src, password custom_src
exttrail D:/goldengate/dirdat/ODISoc/oc
TABLE CUSTOM_SRC.MV_CN_TABLE;
--Datapump
extract ODIT1P
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")
PASSTHRU
rmthost localhost, mgrport 7909
rmttrail D:/gg_stg/dirdat/ODIT1op/op
TABLE CUSTOM_SRC.MV_CN_TABLE;

--Replicat
replicat ODIT1A1
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")
userid odi_staging,  password odi_staging
discardfile D:/gg_stg/dirrpt/ODIT1.dsc, purge
ASSUMETARGETDEFS
--这里必须指定此参数，否则update有问题
APPLYNOOPUPDATES
--这里必须指定KEYCOLS，否则删除和更新有问题
map CUSTOM_SRC.MV_CN_TABLE, TARGET ODI_STAGING.V_CN_TABLE, KEYCOLS (ID);





6        附录
6.1        OGG V11.1数据复制限制
以下对goldengate数据复制的限制情况进行说明。
6.1.1        不支持文件等非结构化数据复制
GoldenGate依赖对于数据库日志的解析获取数据变化，因此只能支持数据库中的数据变化复制，无法支持文件等非结构化数据的复制。
6.1.2        Oracle数据类型限制
GoldenGate支持Oralce常见数据类型的复制。
6.1.2.1        GoldenGate不支持的数据类型
1)        ANYDATA
2)        ANYDATASET
3)        ANYTYPE
4)        BFILE
5)        BINARY_INTEGER
6)        MLSLABEL
7)        PLS_INTEGER
8)        TIMEZONE_ABBR
9)        TIMEZONE_REGION
10)        URITYPE
11)        UROWID
6.1.2.2        GoldenGate有限制支持XML Type复制
1)        仅限于Oracle 9i及以后版本
2)        表必须有主键或者索引
6.1.2.3        GoldenGate有限制支持UDT用户自定义类型复制
如果系统中存在UDT用户自定义类型，请联系技术支持人员并提供脚本。
6.1.3        Oracle DML操作支持
GoldenGate当前支持普通表的所有DML操作和有限制支持部分特殊对象的DML操作，对于特殊表或对象请参照后面特殊对象一节的说明。
6.1.3.1        GoldenGate不支持nologging的表等对象
当表或表空间被设置为nologging后，使用sqlloader或者append等非常规模式插入数据将不会被写入到数据库日志，因此GoldenGate无法获取这些数据变化。建议将所有需要的业务表设置为logging状态，对于nologging的表不予以复制。
6.1.3.2        GoldenGate暂不支持对象和操作如下
1)        REF
2)        使用COMPRESS 选项建立的表空间和表
3)        Database Replay
6.1.3.3        GoldenGate支持Sequence序列的复制
6.1.3.4        GoldenGate可以通过复制源表支持对于同义词或者DBLink的复制。
由于对于这些对象本身的操作发生于其所链接的源数据库对象，数据库日志中并不记录对这些链接目标对象的操作，因此GoldenGate不复制对同义词或者DBLink本身的操作，但这些操作会应用在源表上并产生日志，因此可以通过复制源表复制变化。
6.1.3.5        GoldenGate有限制支持IOT索引组织表复制
1)        仅限于Oracle 10.2及以后版本
2)        能够支持使用MAPPING TABLE创建的IOT，但是只抽取基表的数据变化，而不是MAPPING TABLE。
3)        不支持以compress模式存储的IOT。例如，不支持存储在一个使用compress选项的表空间里的IOT。
6.1.3.6        GoldenGate有限制支持Clustered Table复制
1)        仅限于Oracle 9i及以后版本
2)        不支持Encrypted加密和compressed压缩的clustered tables
6.1.3.7        GoldenGate有限制支持物化视图复制
1)        不支持使用WITH ROWID选项创建的物化视图
2)        源表必须有主键
3)        不支持物化视图的Truncate但支持DELETE FROM
4)        目标物化视图必须是可更新的
5)        只在Oracle 10g或以后的版本支持物化视图的Full refresh
6.1.4        Oracle DDL复制限制
GoldenGateDDL复制的原理是通过Trigger从源数据库获取sql，到目标端进行重现，在实际使用中有较多限制，即源端能够执行的sql到了目标端未必能够执行成功。以下为常见的一些问题：
1)        当SQL语句里面设计的对象在目标不存在时，DDL无法执行成功。例如，源建立了一个DBLINk或create table as select * from mydblink，此时目标端可能并没有这个dblink指向的库或对象，所以sql语句会报错；
2)        当两端的物理位置不同时，建立data file或tablespace等与物理位置相关的语句需要在目标端替换为目标的物理位置；
3)        当创建约束没有指定名称时，在源和目标会生成不同名称的对象，这样以后对这些对象再进行修改时就无法正确映射到目标端；
4)        当复制带有LOB的表时，ddl操作必须等待DML操作全部完成以后再复制；
5)        不能复制表明和列名带有中文的表；
6)        表或其它对象的定义里面不能加入中文注释;
7)        不能复制带有编译错误的CREATE trigger/procedure/function/package等对象；
8)        不能复制结尾带有‘/’的sql语句.

此外，GoldenGate DDL复制需要关闭Oracle的_RECYCLEBIN参数（Oracle 10.1）或者RECYCLEBIN参数（Oracle 10.2及以后版本）。
还有一个比较重要的是：由于是Trigger based，GoldenGate的DDL复制可能会降低源数据库的性能，所以不推荐使用DDL复制，具体请参照国网OGG实施原则。
说明：更多详细信息请参照OGG的官方参考手册。

6.2        OGG实施注意事项
实施前期准备可以避免很多不必要的错误，因此在出现错误时，首先对实施之前的准备工作进行检查，验证是否准备工作已经正确完成。
6.2.1        操作系统环境变量
HP-UX：export LD_LIBRARY_PATH=/ggs/11.1:$LD_LIBRARY_PATH
AIX：export LIBPATH=/ggs/11.1:$LIBPATH
这里要注意，将GoldenGate安装目录放在LD_LIBRARY_PATH/LIBPATH环境变量最前面
6.2.2        GoldenGate运行操作系统用户
建议使用oracle用户运行GoldenGate，oracle用户已将oracle相关环境变量设置好，包括lib相关的环境变量。如果使用独立的GoldenGate用户，可以将oracle用户的环境变量复制到profile文件中，额外添加lib包相关的内容。
6.2.3        操作系统资源使用限制
使用操作系统命令：ulimit –a
查看相应的系统资源使用限制，通过修改/etc/security/limits文件，建议都设置unlimitied。如果不能全部设置为unlimited，必须将以下参数设置为unlimited：
max memory size       (kbytes, -m) unlimited
file size               (blocks, -f) unlimited
data seg size           (kbytes, -d) unlimited
cpu time              (seconds, -t) unlimited
stack size              (kbytes, -s) unlimited
很多情况下出现问题，和stack没有设置成unlimited有关。

6.2.4        源数据库必须启动归档模式并开启附加日志
6.2.4.1        Oracle数据库
Oracle数据库开启归档模式，数据库需要重启，步骤如下：
SQL> SELECT LOG_MODE FROM V$DATABASE;
SQL> SHUTDOWN IMMEDIATE
SQL> STARTUP MOUNT;
SQL> ALTER SYSTEM SET LOG_ARCHIVE_DEST='/U01/archive';
SQL> ALTER DATABASE ARCHIVELOG;
SQL> ALTER DATABASE OPEN;
SQL> ARCHIVE LOG LIST;
SQL> ALTER SYSTEM SWITCH LOGFILE;
SQL> ALTER SYSTEM ARCHIVE LOG CURRENT;
SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
SQL> SELECT SUPPLEMENTAL_LOG_DATA_MIN FROM V$DATABASE;

6.2.4.2        DB2数据库
无论DB2 8还是DB2 9系列都需要重启数据库。
DB2 8系列：必须设置USEREXIT和LOGRETAIN参数
db2 update db cfg for using USEREXIT ON
db2 update db cfg for using LOGRETAIN ON
DB2 9系列：可以不使用USEREXIT和LOGRETAIN参数，而是使用LOGARCHMETH1和LOGARCHMETH2参数开启归档模式，但是LOGRETAIN仍需设置为ON
6.2.5        AIX XL C版本
AIX 5.3 需要XL C/C++ Runtime v10.1以上以及libpthreads version 5.3.0.51或以上，libpthreads属于基础包，基本都会满足。
AIX 5.2 需要XL C/C++ Runtime v9.0以上以及libpthreads version 5.2.0.106或以上，libpthreads属于基础包，基本都会满足。
很多情况XL C版本为9.0以下，此时必须升级XL C版本
6.2.6        HP-UX aCC版本
On HP-UX 11.23 IA64, Oracle GoldenGate requires aCC: HP aC++/ANSI C B3910B 
A.06.05 or newer aC++ libraries. PHSS_34041 or newer is required.

6.2.7        Windows C++版本
这里要注意，GoldenGate的版本是和数据库和操作系统相关的，如果是64位的OS，结果安装了32位的数据库，必须使用32位的GoldenGate和32位的C++ 2005 sp1  Redis tributable package。
32位下载地址：
http://www.microsoft.com/downloa ... 4-984d-389c36f85647
64位下载地址：
http://www.microsoft.com/downloa ... 7-9dd4-b9a6d7bd44da
6.2.8        GoldenGate安装目录
OGG安装目录建议在存储阵列上，但是在mount时需注意，不能使用并发参数，例如：在AIX下， 不能使用CIO参数。如果使用已有的mount点，并且使用并发参数，必须新建文件系统，重新mount，作为GoldenGate安装目录。
6.2.9        RAC相关设置
必须保证GoldenGate可以访问到RAC环境任何一个节点的归档日志，可以采用并行文件系统或NFS，一般采用NFS。
在extract参数文件中指定参数：
TRANLOGOPTIONS altarchivelogdest primary instance ins1 /archive01, altarchivelogdest  instance  ins2 /archive02
6.2.10        端口设置
在mgr.prm中设置动态端口范围
dynamicportlist 7840-7914
很多没有设置为这个范围，导致容灾中心Director不能观察到网省端的运行状态。
6.2.11        压缩传输设置
在datapump参数文件中指定压缩参数，否则将占用较大的网络带宽，导致传输时间过长。
RMTHOST 10.100.xx.xx, MGRPORT 7839, compress
6.2.12        待复制表名设置
在参数文件中建议使用具体要复制的表名称，例如：schema.table_name的方式，便于后期维护。
6.2.13        队列文件保存期限设置
在mgr.prm文件中进行设置：
PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3
如果空间不够，可将minkeepdays修改为：MINKEEPHOURS。
如果空间仍然紧张，仍要求立即释放空间，可修改为：MINKEEPFILES，将值设置为1，即只保留一个处理过的队列文件。



6.2.14        抽取及复制分组
针对大的应用系统，为提高复制性能，建议对要复制的表进行分组，如何分组需要和应用系统开发商、业务人员共同商讨确定分组方案。
6.2.15        AIX使用裸设备
在extract, datapump,replicat参数文件中必须添加：
TRANLOGOPTIONS  RAWDEVICEOFFSET  0
6.2.16        同步表清单
只同步和应用系统相关的schema下面的表，很多网省的参数文件，直接把所有用户都列在里面，其中很多是数据库本身自己使用的用户，例如：
'SYS', 'SYSTEM', 'DBSNMP','SYSMAN','OUTLN','MDSYS','ORDSYS','EXFSYS','DMSYS','WMSYS', 'CTXSYS','ANONYMOUS','XDB','ORDPLUGINS','OLAPSYS'
6.2.17        临时表排除
很多网省在参数文件中使用shcema.*的方式，这样有很多临时表也会进行复制，经于应用系统开发商确认，TEMP和TMP开头的表根本不需要复制，因此在参数文件中直接排除这些临时表。
extract:
TABLEEXCLUDE SCHEMA.TEMP*
TABLEEXCLUDE SCHEMA.TMP*
replicat:
MAPEXCLUDE SCHEMA.xxx
6.2.18        UNIX GGSCI需要lib包验证
在GoldenGate安装目录运行：
ldd ggsci
验证所需要的lib包，必须保证全部可以找到。
例如：下面的提示有lib包没有找到
Linux -gate.so.1 =>  (0x00c10000)
libdl.so.2 => /lib/libdl.so.2 (0x006d2000)
libicui18n.so.38 => /u01/app/goldengate/libicui18n.so.38 (0x00110000)
libicuuc.so.38 => /u01/app/goldengate/libicuuc.so.38 (0x00cd6000)
libicudata.so.38 => /u01/app/goldengate/libicudata.so.38 (0xb74c3000)
libpthread.so.0 => /lib/libpthread.so.0 (0x006d8000)
libxerces-c.so.28 => /u01/app/goldengate/libxerces-c.so.28 (0x006f0000)
libnnz10.so => not found
libclntsh.so.10.1 => not found
libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x054b9000)
libm.so.6 => /lib/libm.so.6 (0x006a9000)
libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x00271000)
libc.so.6 => /lib/libc.so.6 (0x00561000)
/lib/ld-linux.so.2 (0x00543000)
设置相关环境变量或安装缺失的操作系统补丁，确认全部lib包可以找到，如下所示：
$ ldd ggsci
linux-gate.so.1 =>  (0x00af3000)
libdl.so.2 => /lib/libdl.so.2 (0x006d2000)
libicui18n.so.38 => /u01/app/goldengate/libicui18n.so.38 (0x00cb3000)
libicuuc.so.38 => /u01/app/goldengate/libicuuc.so.38 (0x0090e000)
libicudata.so.38 => /u01/app/goldengate/libicudata.so.38 (0xb74d1000)
libpthread.so.0 => /lib/libpthread.so.0 (0x006d8000)
libxerces-c.so.28 => /u01/app/goldengate/libxerces-c.so.28 (0x00110000)
libnnz10.so => /u01/app/oracle/product/10.2.0/db_1/lib/libnnz10.so (0x006f0000)
libclntsh.so.10.1 => /u01/app/oracle/product/10.2.0/db_1/lib/libclntsh.so.10.1 (0x00e14000)
libstdc++.so.6 => /usr/lib/libstdc++.so.6 (0x054b9000)
libm.so.6 => /lib/libm.so.6 (0x006a9000)
libgcc_s.so.1 => /lib/libgcc_s.so.1 (0x004bd000)
libc.so.6 => /lib/libc.so.6 (0x00561000)
/lib/ld-linux.so.2 (0x00543000)
libnsl.so.1 => /lib/libnsl.so.1 (0x00a54000)

6.2.19        Oracle 9i中如何为超过32列的无主键表添加附加日志
为数据库表添加附加日志操作的本质是执行如下的SQL语句：
Alter table add supplemental log group (column,..) always;

Oracle GoldenGate的add trandata 也是调用这个语句执行：
1)        当表有主键时，会将所有作为主键的列放到columns子句里面添加到附加日志组里；
2)        如果没有主键，则会找索引，将索引列放到columns子句里面添加到附加日志组里;
3)        如果没有主键和索引，则会将所有列添加到附加日志组中去。

在对于无主键和索引表添加附加日志时，Oracle 9i有个限制: 即每个附加日志组不可以超过32个列（大致数字，与实际列定义长度有关）.此时调用GoldenGate的add Trandata命令会失败，其处理方法是将该表的所有列拆分为若干组，每组不超过32各列，然后分别添加附加日志组（对不同组合设置不同附加日志组名）。以下为一个超过32列表添加附加日志例子：
ALTER TABLE SIEBEL.XYZ_SQL ADD SUPPLEMENTAL LOG GROUP GGS_XYZ_SQL_649101_1(ACTION ,ACTION_HASH ,ADDRESS ,BUFFER_GETS ,CHILD_ADDRESS ,CHILD_LATCH ,CHILD_NUMBER ,COMMAND_TYPE ,CPU_TIME ,DISK_READS ,ELAPSED_TIME ,EXECUTIONS ,FETCHES ,FIRST_LOAD_TIME ,HASH_VALUE ,INSTANCE_ID ,INVALIDATIONS ,IS_OBSOLETE ,KEPT_VERSIONS ,LAST_LOAD_TIME ,LITERAL_HASH_VALUE ,LOADED_VERSIONS ,LOADS ,MODULE ,MODULE_HASH ,OBJECT_STATUS ,OPEN_VERSIONS ,OPTIMIZER_COST ,OPTIMIZER_MODE ,OUTLINE_CATEGORY ,OUTLINE_SID ,PARSE_CALLS) always;
ALTER TABLE SIEBEL.XYZ_SQL ADD SUPPLEMENTAL LOG GROUP GGS_XYZ_SQL_649101_2(PARSING_SCHEMA_ID ,PARSING_USER_ID ,PERSISTENT_MEM ,PLAN_HASH_VALUE ,REMOTE ,ROWS_PROCESSED ,RUNTIME_MEM ,SERIALIZABLE_ABORTS ,SHARABLE_MEM ,SNAP_ID ,SORTS ,SQLTYPE ,SQL_TEXT ,TYPE_CHK_HEAP ,USERS_EXECUTING ,USERS_OPENING) always;

说明：通过手工方式加入附加日志后，不能在ggsci中使用info trandata查看到附加日志，此时可以通过下列语句查询是否有表没有加入到附加日志：
SQL> select * from dba_log_groups where owner='SIEBEL'  and table_name=’XXX’;
如想验证是否所需的列均在附加日志中，可以再查询dba_log_group_columns。
如需将附加日志组drop掉，可以采用如下格式：
Alter table drop supplemental log group ;

你可能感兴趣的:(oracle,技术,goldengate)

• 使用MarkdownHeaderTextSplitter拆分Markdown文档 scaFHIO python前端开发语言
  在AI驱动的应用中，如聊天机器人或问答系统，处理大型文档时，通过分片技术将文档拆分为更小的单元是必要的步骤。尤其是对于Markdown格式的文件，它们通常由各种层级的标题结构化组织。通过按标题拆分，有利于保留文档的上下文语义一致性。本篇文章将讲解如何使用MarkdownHeaderTextSplitter来实现这一目标。技术背景介绍在将完整的段落或文档进行嵌入时，嵌入过程会考虑文本的整体上下文以及
• 【项目实战】—— 高并发内存池 Ryan.Alaskan Malamute 开发语言c++高并发内存池缓存
  文章目录什么是高并发内存池？项目介绍一、项目背景二、项目目标三、核心组件四、关键技术五、应用场景六、项目优势什么是高并发内存池？  高并发内存池是一种专门设计用于高并发环境下的内存管理机制。它的原型是Google的一个开源项目tcmalloc，全称Thread-CachingMalloc，实现了高效的多线程内存管理，用于替换系统的内存分配相关函数malloc和free。  在高并发系统中，大量的线
• 大数据和人工智能概念全面解析 就犯得上方法
  一、大数据和人工智能大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求，使数据能够从量变到质变，真正产生价值
• 数据中台（二）数据中台相关技术栈 Yuan_CSDF #数据中台
  1.平台搭建1.1.Amabari+HDP1.2.CM+CDH2.相关的技术栈数据存储：HDFS，HBase，Kudu等数据计算：MapReduce,Spark,Flink交互式查询：Impala,Presto在线实时分析：ClickHouse，Kylin，Doris，Druid，Kudu等资源调度：YARN，Mesos，Kubernetes任务调度：Oozie，Azakaban，AirFlow，
• DeepSeek的实际应用场景：AI技术如何赋能多领域创新 2501_91189350 人工智能
  DeepSeek作为新一代智能技术平台，凭借其强大的算法能力和灵活的部署方式，正在多个行业掀起效率革命。本文将从真实案例出发，解析DeepSeek在不同场景中的落地应用。‌场景一：金融风控建模‌在信贷风险评估领域，传统模型存在数据维度单一、更新滞后等问题。某银行引入DeepSeek的‌动态特征工程模块‌，通过实时整合用户行为数据、社交网络信息等100+维度特征，成功将坏账识别准确率提升至98.5%
• 数据库管理-第303期 数据库相关硬件文章汇总（20250319） 胖头鱼的鱼缸（尹海文） 数据库数据库
  数据库管理303期2025-03-19数据库管理-第303期数据库相关硬件文章汇总（20250319）1CPU&内存2SSD3RDMA4存储5CXL6硬件采购7数据库一体机总结数据库管理-第303期数据库相关硬件文章汇总（20250319）作者：胖头鱼的鱼缸（尹海文）OracleACEPro:DatabasePostgreSQLACEPartner10年数据库行业经验拥有OCM11g/12c/19
• 数据库管理-第304期 业绩？有绩无业！（20250320） 胖头鱼的鱼缸（尹海文） 数据库数据库oracle
  数据库管理304期2025-03-20数据库管理-第304期业绩？有绩无业！（20250320）1词解2跑偏3活动预告总结数据库管理-第304期业绩？有绩无业！（20250320）作者：胖头鱼的鱼缸（尹海文）OracleACEPro:DatabasePostgreSQLACEPartner10年数据库行业经验拥有OCM11g/12c/19c、MySQL8.0OCP、Exadata、CDP等认证墨天
• 小程序Taro跨端框架实战总结 0xRick 小程序
  1背景1.1项目项目需开发移动端，需支持以图表、表格等形式展示数据，对素材进行审核审批等功能。并需支持微信、企微小程序、h5等平台使用。2技术选型2.1基础框架选择从落地场景分析，我们需要具备，微信小程序，企微小程序，h5等平台的支持。如果采用小程序/h5等单平台框架开发，在开发效率与人力占用上的成本显然会与需要支持的平台数量成正比。同时小程序在原生开发上也无法使用工程化带来的部分提效功能，所以在
• 理解并使用基于n-gram重叠的示例选择器 shuoac easyui前端javascriptpython
  在AI及自然语言处理任务中，选择与输入最相似的示例可以显著提升生成的质量和上下文相关性。本文将介绍如何使用NGramOverlapExampleSelector工具，通过n-gram重叠来筛选和排序示例，从而帮助实现这一目标。技术背景介绍n-gram重叠技术通过比较输入文本与示例文本在字符或词组上的相似度，计算一个介于0到1之间的分数来表示相似度。这个分数越高，表示文本间的重叠越大。NGramOv
• DeepSeek爆火，背后模型竟藏着这些秘密！ qq_23519469 ai
  DeepSeek是什么来头最近，AI圈可是被一个名字刷爆了屏，那就是DeepSeek！它就像一颗横空出世的超级新星，在全球范围掀起了一阵狂热的追捧潮，这热度，简直了！大家都在疯狂讨论它，各种测评、对比层出不穷。它到底有啥过人之处，能让这么多人都为之疯狂？今天咱就来好好唠唠。DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司，是一家专注于开发先进大语言模型（LLM）和相关技术的企业。它成
• Ai时代初期全球不同纬度的层级辐射现象 龙胥伯 人工智能
  基于最新研究成果与行业动态，AI时代的"层级辐射"现象可被科学解构为以下六大维度，结合技术演进、产业实践和社会影响进行系统性分析：一、技术能力的层级跃迁模型效率革命DeepSeek研发的R1-Zero模型通过动态架构设计，将样本利用率提升40%以上，训练周期大幅缩短。这种技术突破推动AI从实验室走向规模化应用，在智能制造、生物医药等领域催生新生态。大语言模型的训练方式（预训练→多任务学习→强化学习
• MySQL 8主从复制配置最佳实践 随风九天 匠心数据库部署运维mysql主从复制
  1.引言1.1主从复制的意义与应用场景主从复制是MySQL中用于提高数据冗余性和可用性的技术。通过将主库的数据复制到一个或多个从库，可以在主库故障时快速切换到从库，保证服务的连续性。此外，主从复制还可以用于负载均衡，将读操作分发到从库，减轻主库的压力。1.2MySQL8主从复制的新特性概述MySQL8引入了多项改进，包括：GTID（全局事务标识符）：简化复制配置和管理。半同步复制：提高数据一致性。
• 自定义Retriever的实现方法 vaidfl windowslinuxmicrosoftpython
  技术背景介绍在许多大语言模型（LLM）应用中，检索器（Retriever）用于从外部数据源获取信息。检索器的任务是根据用户查询检索相关的文档，这些文档通常被格式化为提示，供LLM使用，从而生成适当的响应，例如，根据知识库回答用户问题。核心原理解析要实现自定义的检索器，需要继承BaseRetriever类，并实现以下方法：_get_relevant_documents：获取与查询相关的文档，必需实现
• 如何缓存聊天模型响应以提高效率 scaFHIO 缓存javaoraclepython
  技术背景介绍在开发基于大型语言模型（LLM）的应用程序时，API调用的成本和响应速度是需要考虑的两个重要因素。尤其是在开发过程中，重复请求相同的文本生成可能会增加额外的成本和延迟。为了应对这一挑战，LangChain提供了一种可选的缓存机制，可以有效地减少API调用次数，从而节省费用并加速应用程序响应。核心原理解析缓存机制的基本原理是在第一次请求时，将响应存储在缓存中。如果以后再次请求相同的输入，
• 如何在一行代码中初始化各种AI模型 qahaj 人工智能python深度学习
  技术背景介绍在开发大语言模型(LLM)应用时，用户有时需要选择不同的模型提供商和具体模型。这通常需要一定的逻辑来根据用户配置初始化不同的聊天模型。为了简化这一过程，init_chat_model()方法被引入，让开发者能够轻松地初始化多种模型集成，而无需担心导入路径和类名。核心原理解析init_chat_model()方法通过传入模型名称及其提供商，自动推断并实例化对应的聊天模型。该功能在lang
• GitHub 超火的开源终端工具——Warp 魔王阿卡纳兹 IT杂谈开源项目观察warp终端iterm2
  Warp作为近年来GitHub上备受瞩目的开源终端工具，以其智能化、高性能和协作能力重新定义了命令行操作体验。以下从多个维度深入解析其核心特性、技术架构、用户评价及生态影响力：一、背景与核心团队Warp由前GitHubCTOJasonWarner和Google前首席技术官ZachLloyd领衔开发，团队成员包括来自Figma、GoogleDocs等知名项目的技术专家。其目标是解决传统终端工具（如i
• AI人工智能代理工作流AI Agent WorkFlow：设计智能任务处理流程 AI天才研究院 计算AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
  AI人工智能代理工作流AIAgentWorkFlow：设计智能任务处理流程作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来在当今的数字化时代，随着数据量的爆炸式增长和复杂性的提升，传统的手动任务处理方式已经无法满足高效、准确的需求。人工智能技术的发展为自动化任务处理提供了新的可能性。AI人工智能代理（AIAgent）作为一
• 杭州宇树科技有限公司（Hangzhou Yushu Science And Technology Co., Ltd.） [19]，简称宇树，是一家从事软件和信息技术服务业民用机器人公司 [19-20] 分享是一种传递，一种快乐 杂学百货铺-啥都学人工智能
  UnitreeRoboticsisaworld-renownedcivilianroboticscompany,whichisfocusingontheR&D,production,andsalesofconsumerandindustry-classhigh-performancegeneral-purposeleggedandhumanoidrobots,six-axismanipulator
• HAProxy的ACL Hurry6 网络服务器运维
  访问控制列表（ACL，AccessControlLists）是一种基于包过滤的访问控制技术，它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)，即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作，比如允许其通过或丢弃。定义ACL匹配规范，即：判断条件hdrstring，提取在一个HTTP
• 使用CharacterTextSplitter实现文本按字符拆分 bavDHAUO python
  在文本处理任务中，按字符进行拆分是一种简单且有效的方法。本篇文章将介绍如何使用CharacterTextSplitter类对文本进行按字符拆分，并生成适用于下游任务的LangChainDocument对象。技术背景介绍文本拆分是自然语言处理（NLP）中的一个基础步骤，尤其在大文本分块处理、文本摘要等任务中。CharacterTextSplitter是langchain-text-splitters
• Python,C++开发餐饮后厨环境远程管理APP Geeker-2025 pythonc++
  开发一款用于**餐饮后厨环境远程管理**的App，结合Python和C++的优势，可以实现高效的后端数据处理、实时的环境监控以及用户友好的前端界面。以下是一个详细的开发方案，涵盖技术选型、功能模块、开发步骤等内容。##技术选型###后端（Python）-**编程语言**：Python-**Web框架**：Django或Flask-**数据库**：PostgreSQL或MySQL-**实时通信**：
• Tree of Thought Prompting（思维树提示） 大数据追光猿 大模型人工智能大数据深度学习语言模型计算机视觉
  TreeofThoughtPrompting（思维树提示）是一种新兴的提示工程技术，旨在通过模拟人类解决问题时的多步推理过程，提升大型语言模型（LLM）在复杂任务中的表现。与传统的线性提示方法不同，思维树提示将问题分解为多个可能的推理路径，并以树状结构探索这些路径，从而找到最优解或生成更高质量的结果。这种方法特别适用于需要多步推理的任务，例如数学问题求解、逻辑推理、规划和创造性写作等场景。它结合了
• 95% 向量资源节省，火山引擎云搜索 RAG 技术体系演进 字节跳动云原生计算 火山引擎搜索引擎算法
  采访嘉宾|火山引擎云搜索团队鲁蕴铖、李杰辉、余炜强编辑|TinaInfoQ2023年，大模型惊艳了世界。2024年，RAG技术如日中天。RAG使得大模型能够在不更新模型参数的情况下，获得必要的上下文信息，从而减少大模型的幻觉。随着大型语言模型技术的不断成熟和行业应用的深入，人们对RAG系统的期望已经超越了对其“酷炫”效果的追求。企业和组织开始寻找更可靠、可扩展的RAG解决方案，以满足实际业务需求。
• 【大模型科普】AIGC技术发展与应用实践（一文读懂AIGC） 人工智能
  【专栏介绍】⌈⌈⌈人工智能与大模型应用⌋⌋⌋人工智能（AI）通过算法模拟人类智能，利用机器学习、深度学习等技术驱动医疗、金融等领域的智能化。大模型是千亿参数的深度神经网络（如ChatGPT），经海量数据训练后能完成文本生成、图像创作等复杂任务，显著提升效率，但面临算力消耗、数据偏见等挑战。当前正加速与教育、科研融合，未来需平衡技术创新与伦理风险，推动可持续发展。文章目录一、AIGC概述（一）什么是
• 如何创建自定义回调处理器 bBADAS python开发语言
  在现代AI开发中，回调是一个强大的工具，它允许我们在特定事件触发时执行自定义逻辑。本文将深入探讨如何为LangChain创建自定义的回调处理器，从而实现更加灵活的模型交互。技术背景介绍在使用AI模型时，尤其是在处理自然语言生成任务时，可能需要对生成的每个标记（token）进行处理。LangChain提供了一些内置的回调处理器，但为了满足特定的需求，创建自定义回调处理器是非常有必要的。核心原理解析创
• 代码逐行解析 | 教你在C++中使用深度学习提取特征点 3Ｄ视觉工坊 3D视觉从入门到精通c++深度学习开发语言人工智能
  点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达扫描下方二维码，加入3D视觉技术星球，星球内汇集了众多3D视觉实战问题，以及各个模块的学习资料：最新顶会论文、书籍、源码、视频（近20门系统课程[星球成员可免费学习]）等。想要入门3D视觉、做项目、搞科研，就加入我们吧。作者：泡椒味的口香糖|来源：3DCV添加微信：dddvision
• 热点研究 | OpenAI 重磅发布 Agents SDK，人人都能手搓 Manus? Ai野生菌 技术面php开发语言manusopenaiagent
  3月12日，OpenAI正式发布了OpenAIAgentsSDK，这一重要发布不仅为开发者提供了强大的工具，更预示着AIAgent技术即将进入快速发展期。这些工具为开发者提供更强大功能，使代理能够独立执行复杂任务，如搜索网络、处理文件和自动化计算机操作。ResponsesAPI同步发布，为开发者提供了构建自定义AIAgent的能力，能够执行网络搜索、文件检索等任务。这套新工具和API旨在赋能开发者
• 3DXML 与 SOLIDWORKS 格式转换：技术协同及迪威模型方案 3D小将 迪威模型联讯软件SolidWorks模型UG模型Rhino模型SketchUp模型catia模型stl模型stp模型
  一、引言在产品设计的前沿领域，3DXML与SOLIDWORKS作为主流格式，虽各有所长，但因格式差异，常成为数据流通与协作的阻碍。对于技术人员和学生党而言，掌握二者间的转换技术，不仅能提升设计效率，更是参与复杂项目协作的必备技能。迪威模型在线转换功能，凭借其先进技术，为这一转换难题提供了高效解决方案。二、3DXML与SOLIDWORKS格式基础（一）3DXML3DXML由达索系统精心打造，其核心压
• 《解锁元宇宙构建：AI与云原生区块链的协同奥秘》 人工智能深度学习
  在科技飞速发展的今天，元宇宙已从最初的概念设想逐渐步入人们的视野，成为全球瞩目的焦点。元宇宙，这个融合了虚拟与现实、跨越时空界限的数字世界，正以其独特的魅力和无限的潜力，引领着新一轮的科技革命和产业变革。而在这场变革的背后，AI与云原生区块链技术宛如两颗璀璨的明星，交相辉映，为元宇宙的构建提供了不可或缺的关键支撑。AI：赋予元宇宙“智慧灵魂”智能内容生成，丰富元宇宙的“物质基础”在元宇宙的广袤世界
• Camera常用算法介绍1 记录美好 android相机学习算法经验分享智能手机
  Camera常用数据格式及算法介绍1二、Camera常用算法介绍2.1基础图像处理算法2.1.1HDR算法2.1.1.1HDR算法概述2.1.1.2发展历程2.1.1.2.1传统多帧合成阶段（2010年代初期）2.1.1.2.2.算法优化阶段（2016-2020年）2.1.1.2.3实时处理阶段（2020年至今）2.1.1.3技术原理2.1.1.3.1多帧采集2.1.1.3.2图像合成2.1.1.
• 戴尔笔记本win8系统改装win7系统 sophia天雪 win7戴尔改装系统win8
  戴尔win8 系统改装win7 系统详述 第一步：使用U盘制作虚拟光驱：         1）下载安装UltraISO：注册码可以在网上搜索。         2）启动UltraISO，点击“文件”—》“打开”按钮，打开已经准备好的ISO镜像文
• BeanUtils.copyProperties使用笔记 bylijinnan java
  BeanUtils.copyProperties VS PropertyUtils.copyProperties 两者最大的区别是： BeanUtils.copyProperties会进行类型转换，而PropertyUtils.copyProperties不会。 既然进行了类型转换，那BeanUtils.copyProperties的速度比不上PropertyUtils.copyProp
• MyEclipse中文乱码问题 0624chenhong MyEclipse
  一、设置新建常见文件的默认编码格式，也就是文件保存的格式。 在不对MyEclipse进行设置的时候，默认保存文件的编码，一般跟简体中文操作系统（如windows2000，windowsXP）的编码一致，即GBK。 在简体中文系统下，ANSI 编码代表 GBK编码;在日文操作系统下，ANSI 编码代表 JIS 编码。 Window-->Preferences-->General -
• 发送邮件 不懂事的小屁孩 send email
  import org.apache.commons.mail.EmailAttachment; import org.apache.commons.mail.EmailException; import org.apache.commons.mail.HtmlEmail; import org.apache.commons.mail.MultiPartEmail;
• 动画合集 换个号韩国红果果 htmlcss
  动画 指一种样式变为另一种样式 keyframes应当始终定义0 100 过程 1 transition  制作鼠标滑过图片时的放大效果 css .wrap{ width: 340px;height: 340px; position: absolute; top: 30%; left: 20%; overflow: hidden; bor
• 网络最常见的攻击方式竟然是SQL注入 蓝儿唯美 sql注入
  NTT研究表明，尽管SQL注入（SQLi）型攻击记录详尽且为人熟知，但目前网络应用程序仍然是SQLi攻击的重灾区。 信息安全和风险管理公司NTTCom Security发布的《2015全球智能威胁风险报告》表明，目前黑客攻击网络应用程序方式中最流行的，要数SQLi攻击。报告对去年发生的60亿攻击 行为进行分析，指出SQLi攻击是最常见的网络应用程序攻击方式。全球网络应用程序攻击中，SQLi攻击占
• java笔记2 a-john java
  类的封装： 1，java中，对象就是一个封装体。封装是把对象的属性和服务结合成一个独立的的单位。并尽可能隐藏对象的内部细节（尤其是私有数据） 2，目的：使对象以外的部分不能随意存取对象的内部数据（如属性），从而使软件错误能够局部化，减少差错和排错的难度。 3，简单来说，“隐藏属性、方法或实现细节的过程”称为——封装。 4，封装的特性：       4.1设置
• [Andengine]Error：can't creat bitmap form path “gfx/xxx.xxx” aijuans 学习Android遇到的错误
          最开始遇到这个错误是很早以前了，以前也没注意，只当是一个不理解的bug，因为所有的texture，textureregion都没有问题，但是就是提示错误。 昨天和美工要图片，本来是要背景透明的png格式，可是她却给了我一个jpg的。说明了之后她说没法改，因为没有png这个保存选项。 我就看了一下，和她要了psd的文件，还好我有一点
• 自己写的一个繁体到简体的转换程序 asialee java转换繁体filter简体
            今天调研一个任务，基于java的filter实现繁体到简体的转换，于是写了一个demo，给各位博友奉上，欢迎批评指正。          实现的思路是重载request的调取参数的几个方法，然后做下转换。          
• android意图和意图监听器技术 百合不是茶 android显示意图隐式意图意图监听器
  Intent是在activity之间传递数据;Intent的传递分为显示传递和隐式传递   显式意图：调用Intent.setComponent() 或 Intent.setClassName() 或 Intent.setClass()方法明确指定了组件名的Intent为显式意图，显式意图明确指定了Intent应该传递给哪个组件。   隐式意图;不指明调用的名称,根据设
• spring3中新增的@value注解 bijian1013 javaspring@Value
          在spring 3.0中，可以通过使用@value，对一些如xxx.properties文件中的文件，进行键值对的注入，例子如下： 1.首先在applicationContext.xml中加入：  <beans xmlns="http://www.springframework.
• Jboss启用CXF日志 sunjing logjbossCXF
  1. 在standalone.xml配置文件中添加system-properties：     <system-properties>        <property name="org.apache.cxf.logging.enabled" value=&
• 【Hadoop三】Centos7_x86_64部署Hadoop集群之编译Hadoop源代码 bit1129 centos
    编译必需的软件 Firebugs3.0.0 Maven3.2.3 Ant JDK1.7.0_67 protobuf-2.5.0 Hadoop 2.5.2源码包       Firebugs3.0.0   http://sourceforge.jp/projects/sfnet_findbug
• struts2验证框架的使用和扩展 白糖_ 框架xmlbeanstruts正则表达式
  struts2能够对前台提交的表单数据进行输入有效性校验，通常有两种方式： 1、在Action类中通过validatexx方法验证，这种方式很简单，在此不再赘述； 2、通过编写xx-validation.xml文件执行表单验证，当用户提交表单请求后，struts会优先执行xml文件，如果校验不通过是不会让请求访问指定action的。 本文介绍一下struts2通过xml文件进行校验的方法并说
• 记录-感悟 braveCS 感悟
  再翻翻以前写的感悟，有时会发现自己很幼稚，也会让自己找回初心。   2015-1-11 1. 能在工作之余学习感兴趣的东西已经很幸福了； 2. 要改变自己，不能这样一直在原来区域，要突破安全区舒适区，才能提高自己，往好的方面发展； 3. 多反省多思考；要会用工具，而不是变成工具的奴隶； 4. 一天内集中一个定长时间段看最新资讯和偏流式博
• 编程之美-数组中最长递增子序列 bylijinnan 编程之美
  import java.util.Arrays; import java.util.Random; public class LongestAccendingSubSequence { /** * 编程之美 数组中最长递增子序列 * 书上的解法容易理解 * 另一方法书上没有提到的是，可以将数组排序（由小到大）得到新的数组， * 然后求排序后的数组与原数
• 读书笔记5 chengxuyuancsdn 重复提交struts2的token验证
  1、重复提交 2、struts2的token验证 3、用response返回xml时的注意 1、重复提交 (1)应用场景 (1-1)点击提交按钮两次。 (1-2)使用浏览器后退按钮重复之前的操作，导致重复提交表单。 (1-3)刷新页面 (1-4)使用浏览器历史记录重复提交表单。 (1-5)浏览器重复的 HTTP 请求。 (2)解决方法 (2-1)禁掉提交按钮 (2-2)
• [时空与探索]全球联合进行第二次费城实验的可能性 comsci
       二次世界大战前后,由爱因斯坦参加的一次在海军舰艇上进行的物理学实验 -费城实验   至今给我们大家留下很多迷团.....      关于费城实验的详细过程,大家可以在网络上搜索一下,我这里就不详细描述了      在这里,我的意思是,现在
• easy connect 之 ORA-12154: TNS: 无法解析指定的连接标识符 daizj oracleORA-12154
  用easy connect连接出现“tns无法解析指定的连接标示符”的错误，如下： C:\Users\Administrator>sqlplus username/[email protected]:1521/orcl SQL*Plus: Release 10.2.0.1.0 – Production on 星期一 5月 21 18:16:20 2012 Copyright (c) 198
• 简单排序:归并排序 dieslrae 归并排序
  public void mergeSort(int[] array){ int temp = array.length/2; if(temp == 0){ return; } int[] a = new int[temp]; int
• C语言中字符串的\0和空格 dcj3sjt126com c
     \0 为字符串结束符，比如说：                       abcd (空格)cdefg； 存入数组时，空格作为一个字符占有一个字节的空间，我们
• 解决Composer国内速度慢的办法 dcj3sjt126com Composer
  用法： 有两种方式启用本镜像服务： 1 将以下配置信息添加到 Composer 的配置文件 config.json 中（系统全局配置）。见“例1” 2 将以下配置信息添加到你的项目的 composer.json 文件中（针对单个项目配置）。见“例2” 为了避免安装包的时候都要执行两次查询，切记要添加禁用 packagist 的设置，如下 1 2 3 4 5
• 高效可伸缩的结果缓存 shuizhaosi888 高效可伸缩的结果缓存
  /** * 要执行的算法，返回结果v */ public interface Computable<A, V> { public V comput(final A arg); }   /** * 用于缓存数据 */ public class Memoizer<A, V> implements Computable<A,
• 三点定位的算法 haoningabc c算法
  三点定位， 已知a,b,c三个顶点的x,y坐标 和三个点都z坐标的距离，la，lb,lc 求z点的坐标 原理就是围绕a,b,c 三个点画圆，三个圆焦点的部分就是所求 但是，由于三个点的距离可能不准，不一定会有结果， 所以是三个圆环的焦点，环的宽度开始为0，没有取到则加1 运行 gcc -lm test.c test.c代码如下 #include "stdi
• epoll使用详解 jimmee clinux服务端编程epoll
  epoll - I/O event notification facility在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。并且，在linu
• Hibernate对Enum的映射的基本使用方法 linzx0212 enumHibernate
    枚举   /** * 性别枚举 */ public enum Gender { MALE(0), FEMALE(1), OTHER(2); private Gender(int i) { this.i = i; } private int i; public int getI
• 第10章 高级事件（下） onestopweb 事件
  index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
• 孙子兵法 roadrunners 孙子兵法
  始计第一 孙子曰： 兵者，国之大事，死生之地，存亡之道，不可不察也。 故经之以五事，校之以计，而索其情：一曰道，二曰天，三曰地，四曰将，五 曰法。道者，令民于上同意，可与之死，可与之生，而不危也；天者，阴阳、寒暑 、时制也；地者，远近、险易、广狭、死生也；将者，智、信、仁、勇、严也；法 者，曲制、官道、主用也。凡此五者，将莫不闻，知之者胜，不知之者不胜。故校 之以计，而索其情，曰
• MySQL双向复制 tomcat_oracle mysql
  本文包括: 主机配置 从机配置 建立主-从复制 建立双向复制   背景 按照以下简单的步骤: 参考一下： 在机器A配置主机(192.168.1.30) 在机器B配置从机(192.168.1.29) 我们可以使用下面的步骤来实现这一点   步骤1：机器A设置主机 在主机中打开配置文件 ,
• zoj 3822 Domination(dp) 阿尔萨斯 Mina
  题目链接：zoj 3822 Domination 题目大意：给定一个N∗M的棋盘，每次任选一个位置放置一枚棋子，直到每行每列上都至少有一枚棋子，问放置棋子个数的期望。 解题思路：大白书上概率那一张有一道类似的题目，但是因为时间比较久了，还是稍微想了一下。dp[i][j][k]表示i行j列上均有至少一枚棋子，并且消耗k步的概率（k≤i∗j）,因为放置在i+1~n上等价与放在i+1行上，同理

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他

首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉

版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.