tsingfu1986
tsingfu1986

DSG RealSync复制软件一个故障处理案例

分享一个DSG RealSync复制软件故障处理案例，讲讲DSG RealSync实时复制软件在故障情况下的恢复。

案例中要点：

1目标端loader加载报错无法正常恢复的情况，使用工具xfview删除交易文件中的部分交易（支持删除某一条记录/某个分区/某个表的交易，具体看需要，以最小影响处理为原则）

2源端vagentd修复指定的分区（支持表级、分区级、子分区级、记录级修复），使用的是RealSync自身提供初始化的功能


与oracle goldengate对比：

在此类故障情况下，DSG RealSync复制软件的处理要比OGG简单方便很多。当然，相信oracle在OGG以后的版本中，肯定会针对oracle数据库复制进行优化，增强数据初始化功能。


部分说明：

1修复功能内部调用xexp，xexp是从DSG Snapassure/SnapDBP物理备份软件的功能引入的，能够从物理数据文件或者物理备份文件中导出相关表的逻辑记录

2DSG Snapassure/SnapDBP是DSG数据库备份恢复软件产品，特别是对oracle数据库的备份恢复很有特色，支持非归档数据库在线热备，支持物理备份中快速恢复表，支持使用备份文件直接open数据库验证备份有效性，不需要额外的存储。。。


1问题：复制通道报错目标端loader加载报错

目标端loader报错日志摘要log/log.r0


Loader: 26007612.xf1  2013-05-31:19:17:05: (commit) SCN 0x65315.c03a0001, Time 2013-05-31 19:15:08

2013-05-31:19:17:05: 2-I 0-D 1-U 0-DDL(0 ms) (117 s)


Loader: 26007613.xf1 OCI Error -1 occurred at File xf1_to_oracle_upd_rid.c:1106.

ORA-01410: invalid ROWID


OCI Error -1 occurred at File xf1_to_oracle_upd_rid.c:1106.

ORA-01410: invalid ROWID

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

       : 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15

       :                                          --H-FL-- cc:1      len:17

22764 transactions rollbacked (oci: 1410)

(MARGIN.S_QUERYLOG2 -> MARGIN.S_QUERYLOG2) OCI Error -1 occurred at File xf1_to_oracle_upd_rid.c:1106.

ORA-01410: invalid ROWID

fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_to_oracle.c:3472, retry it.fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_

to_oracle.c:3472, retry it.

2部分诊断步骤

2.1查看问题表的ddl时间

源端查询

15:22:04 SQL> select object_id objn,data_object_id objd,owner,object_name,subobject_name,object_type,created,last_ddl_time,status,temporary,secondary

15:22:04   2  from dba_objects

15:22:04   3  where owner='MARGIN' and object_name='S_QUERYLOG2' and data_object_id=341860

15:22:04   4  ;


     OBJN       OBJD OWNER           OBJECT_NAME                    SUBOBJECT_NAME  OBJECT_TYPE         CREATED           LAST_DDL_TIME     STATUS  T S

---------- ---------- --------------- ------------------------------ --------------- ------------------- ----------------- ----------------- ------- - -

   341860     341860 MARGIN          S_QUERYLOG2                    P20130201       TABLE PARTITION     20130130 11:17:56 20130130 11:17:56 VALID   N N


15:22:04 SQL>

15:22:04 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130201) a;


 COUNT(1)

----------

  4606877


15:36:58 SQL>



目标端查询


15:23:12 SQL> select object_id objn,data_object_id objd,owner,object_name,subobject_name,object_type,created,last_ddl_time,status,temporary,secondary

15:23:12   2  from dba_objects

15:23:12   3  where owner='MARGIN' and object_name='S_QUERYLOG2' and subobject_name='P20130201'

15:23:12   4  ;


     OBJN       OBJD OWNER           OBJECT_NAME                    SUBOBJECT_NAME  OBJECT_TYPE         CREATED           LAST_DDL_TIME     STATUS  T S

---------- ---------- --------------- ------------------------------ --------------- ------------------- ----------------- ----------------- ------- - -

   228472     239409 MARGIN          S_QUERYLOG2                    P20130201       TABLE PARTITION     20130130 10:41:34 20130506 10:14:32 VALID   N N


15:23:12 SQL>


15:36:52 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130201) a;


 COUNT(1)

----------

        0


15:36:53 SQL>

原因分析：目标端相关分区last_ddl_time和源端相差很大，可能目标端有truncate/delete操作，比如业务上删除日志操作，而源端没有这样的操作。


3评估修复方法，分区不大，记录800多万，修复的最佳方法是仅修复问题分区

源端查询分区大小

15:40:46 SQL> select owner,segment_name,partition_name,bytes/1024/1024/1024 size_g

15:41:04   2  from dba_segments

15:41:04   3  where owner='MARGIN' and segment_name='S_QUERYLOG2' and partition_name='P20130201'

15:41:04   4  ;


OWNER           SEGMENT_NAME                   PARTITION_NAME                     SIZE_G

--------------- ------------------------------ ------------------------------ ----------

MARGIN          S_QUERYLOG2                    P20130201                        .4140625


15:41:05 SQL>



4处理方法：


4.1删除问题交易文件 /realsync/qh_raw_test/rmp/real0/26007613.xf1 中问题记录交易

: 0000E3ED.00053764.5F8FFF9D.0012 B5(URP)  --H-FL-- cc:1/6    len:15--》问题交易


../bin/xfview -delrowid 0x00053764 0x5F8FFF9D 0x0012 /realsync/qh_raw_test/rmp/real0/26007613.xf1



依然存在问题，整个分区的交易都存在问题


       : 0000E3ED.00053764.5F8FFF9D.0013 B5(URP)  --H-FL-- cc:1/6    len:15  

       :                                          --H-FL-- cc:1      len:17  

       : 0000E3ED.00053764.5F8FFF9D.0013 B5(URP)  --H-FL-- cc:1/6    len:15  

       :                                          --H-FL-- cc:1      len:17  

22764 transactions rollbacked (oci: 1410)

(MARGIN.S_QUERYLOG2 -> MARGIN.S_QUERYLOG2) OCI Error -1 occurred at File xf1_to_oracle_upd_rid.c:1106.

ORA-01410: invalid ROWID

fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_to_oracle.c:3472, retry it.fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_to_oracle.c:3472, retry it.


../bin/xfview -delrowid 0x00053764 0x5F8FFF9D 0x0012 /realsync/qh_raw_test/rmp/real0/26007613.xf1


4.2删除问题交易文件 /realsync/qh_raw_test/rmp/real0/26007613.xf1 中问题分区的交易

../bin/xfview -delpart 341860 /realsync/qh_raw_test/rmp/real0/26007613.xf1



依然存在问题，发现存在另一个分区也有问题

       : 0000E3ED.00053766.61CFFFC9.0056 B5(URP)  --H-FL-- cc:1/6    len:15  

       :                                          --H-FL-- cc:1      len:17  

22764 transactions rollbacked (oci: 1410)

(MARGIN.S_QUERYLOG2 -> MARGIN.S_QUERYLOG2) OCI Error -1 occurred at File xf1_to_oracle_upd_rid.c:1106.

ORA-01410: invalid ROWID

fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_to_oracle.c:3472, retry it.fail to process /realsync/qh_raw_test/rmp/real0/26007613.xf1 xf1_to_oracle.c:3472, retry it.


5继续诊断新的分区（方法类似步骤2，故障原因相似）

源端查询

15:51:06 SQL> select object_id objn,data_object_id objd,owner,object_name,subobject_name,object_type,created,last_ddl_time,status,temporary,secondary

15:51:07   2  from dba_objects

15:51:07   3  where owner='MARGIN' and object_name='S_QUERYLOG2' and subobject_name='P20130202'

15:51:07   4  ;


     OBJN       OBJD OWNER           OBJECT_NAME                    SUBOBJECT_NAME  OBJECT_TYPE         CREATED           LAST_DDL_TIME     STATUS  T S

---------- ---------- --------------- ------------------------------ --------------- ------------------- ----------------- ----------------- ------- - -

   341862     341862 MARGIN          S_QUERYLOG2                    P20130202       TABLE PARTITION     20130130 11:17:56 20130130 11:17:56 VALID   N N


15:51:07 SQL>


15:52:43 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130202) a;


 COUNT(1)

----------

  6212716


15:52:44 SQL>


目标端查询

15:51:33 SQL> l

 1  select object_id objn,data_object_id objd,owner,object_name,subobject_name,object_type,created,last_ddl_time,status,temporary,secondary

 2  from dba_objects

 3  where owner='MARGIN' and object_name='S_QUERYLOG2' and subobject_name='P20130202'

 4*

15:51:33 SQL> /


     OBJN       OBJD OWNER      OBJECT_NAME                    SUBOBJECT_NAME  OBJECT_TYPE         CREATED      LAST_DDL_TIM STATUS  T S

---------- ---------- ---------- ------------------------------ --------------- ------------------- ------------ ------------ ------- - -

   228473     239410 MARGIN     S_QUERYLOG2                    P20130202       TABLE PARTITION     30-JAN-13    06-MAY-13    VALID   N N


15:51:34 SQL>


15:51:34 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130202) a;


 COUNT(1)

----------

        0


15:52:45 SQL>


6处理方法：

6.1删除问题交易文件 /realsync/qh_raw_test/rmp/real0/26007613.xf1 中问题分区的交易

../bin/xfview -delpart 341862 /realsync/qh_raw_test/rmp/real0/26007613.xf1

6.2复制恢复到实时状态后修复


7修复MARGIN.S_QUERYLOG2.P20130201 和 P20130202 两个分区

7.1在源端修改配置文件（mapping.ini中添加full_part部分，full_where部分也需要注意）

[DB01:/realsync/qh_raw_test/config]$cat mapping.ini

MARGIN   MARGIN


real_where=

       u.name='MARGIN' and o.name in ('S_QUERYLOG2','S_QUERYUSER2')


full_where=

       #u.name='MARGIN' and o.name in ('S_QUERYLOG2','S_QUERYUSER2')

       u.name='MARGIN' and o.name in ('S_QUERYLOG2')

full_part=

       MARGIN.S_QUERYLOG2.P20130201,MARGIN.S_QUERYLOG2.P20130202

[DB01:/realsync/qh_raw_test/config]$


7.2在源端发起修复

[DB01:/realsync/qh_raw_test/config]$../bin/vman

CHECK_MEMLEAK is turned off

VMAN> @../bin/vm

2013/06/04 10:27:19 > connect :55000

Connected.

2013/06/04 10:27:19 > user root/dbps

Authenticated

2013/06/04 10:27:20 > set ds 1 -itvl 3 -state start

2013/06/04 10:27:20 > set dt 1.1 -tgt db 2 -xf1 y -state start

2013/06/04 10:27:20 > set dm 1.1 -cfg -sync ftcqiM1

[DB01:/realsync/qh_raw_test/config]$


7.3修复日志摘要，源端导出耗时26s，目标端导入耗时7min

1）源端vagentd的日志log/log.vagentd


XEXP-BUF: count=5 each-len=13631533--》xexp是从DSG Snapassure/SnapDBP物理备份软件的功能引入的，能够从物理数据文件或者物理备份文件中导出相关表的逻辑记录

。。。。。。

                          P20130101              0 rows   0.00% used

                          P20130102              0 rows   0.00% used

                          P20130201        4606877 rows   0.00% used

                          P20130202        6212716 rows   0.00% used --》仅导出了2个分区的记录

                          P20130301              0 rows   0.00% used

                          P20130302              0 rows   0.00% used

                          P20130401              0 rows   0.00% used

                          P20130402              0 rows   0.00% used

                          P20130501              0 rows   0.00% used

                          P20130502              0 rows   0.00% used

                          P20130601              0 rows   0.00% used

                          P20130602              0 rows   0.00% used


========== Summary of DBPS Express Export ============


  Tables  1 (3)

  Rows  10819593

  Extents  266

  Zip Level 1

  To Read  800.00MB

  Read  982.35MB

  XF1  918.90MB

  XF1 Zipped 172.23MB (81.26%)

  Elapsed  26.18(s)

======================================================

Locking DC ...

DCSave ...

Adding Transactions ...

Exporting Finished...


grp#  size     seq#   bsz      nab flg dup TH Next-SCN  2013/06/04 10:30:34

。。。


2）目标端修复过程中loader加载的日志


[WEBDB01:/realsync/qh_raw_test/log]$tail -30f log.s0

。。。。。。

stmt: alter session set skip_unusable_indexes =TRUE


Loader: 2734.xf1 Performance report is disabled

Detail Performance report is disabled

2013-06-04:10:27:26: 0-I 0-D 0-U 0-DDL(0 ms) (0 s)


Loader: 2735.xf1 2013-06-04:10:27:26: 0-I 0-D 0-U 0-DDL(0 ms) (0 s)


Loader: 2736.xf1 to exec truncate

2013-06-04:10:30:19: ALTER TABLE "MARGIN"."S_QUERYLOG2" TRUNCATE PARTITION "P20130201"  ...

2013-06-04:10:30:19: ALTER TABLE "MARGIN"."S_QUERYLOG2" TRUNCATE PARTITION "P20130202"  ...

[Truncate OK]

2013-06-04:10:30:20: 0-I 0-D 0-U 2-DDL(0 ms) (1 s)


Loader: 2737.xf1  2013-06-04:10:30:21: (commit) SCN 0x0000.00000000, Time 2013-06-04 10:30:18

2013-06-04:10:30:21: 73471-I 0-D 0-U 0-DDL(1920 ms) (3 s)

2013-06-04:10:30:21: 0-I 0-D 0-U 0-DDL(1970 ms) (1 s)


。。。。。

Loader: 2890.xf1  2013-06-04:10:34:34: (commit) SCN 0x0000.00000000, Time 2013-06-04 10:30:33

2013-06-04:10:34:34: 46852-I 0-D 0-U 0-DDL(1050 ms) (241 s)

2013-06-04:10:34:34: 0-I 0-D 0-U 0-DDL(1060 ms) (1 s)


Loader: 2891.xf1 2013-06-04:10:34:34: 0-I 0-D 0-U 0-DDL(0 ms) (0 s)


Loader: 2892.xf1 2013-06-04:10:34:34: 0-I 0-D 0-U 0-DDL(0 ms) (0 s)


Loader: 2893.xf1 2013-06-04:10:34:34: 0-I 0-D 0-U 0-DDL(0 ms) (0 s)

to compile drop constraint

compile num=3

compile try 1 ...

compile "MARGIN"."DELETE_LOG" finish

compile try 2 ...

compile try 3 ...

compile try 4 ...

all compile finish


8对比数据，验证修复

源端查询


12:03:52 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130201) a;


 COUNT(1)

----------

  4606877


12:03:56 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130202) a;


 COUNT(1)

----------

  6212716


12:04:19 SQL>


目标端查询

12:03:33 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130201) a;


 COUNT(1)

----------

  4606877


12:03:37 SQL> select /*+parallel(a,10) */ count(1) from MARGIN.S_QUERYLOG2 partition (P20130202) a;


 COUNT(1)

----------

  6212716


12:04:16 SQL>


修复完成，故障处理完毕。

你可能感兴趣的:(故障处理,DSG,RealSync,数据修复,实时复制软件)

  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Long类型前后端数据不一致 igotyback 前端
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 每日一题——第八十二题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：将一个控制台输入的字符串中的所有元音字母复制到另一字符串中#include#include#include#include#defineMAX_INPUT1024boolisVowel(charp);intmain(){charinput[MAX_INPUT];charoutput[MAX_INPUT];printf("请输入一串字符串：\n");fgets(input,sizeof(inp
  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • Google earth studio 简介 陟彼高冈yu 旅游
    GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
  • LLM 词汇表 落难Coder LLMsNLP大语言模型大模型llama人工智能
    Contextwindow“上下文窗口”是指语言模型在生成新文本时能够回溯和参考的文本量。这不同于语言模型训练时所使用的大量数据集，而是代表了模型的“工作记忆”。较大的上下文窗口可以让模型理解和响应更复杂和更长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在长时间对话中保持连贯性的能力。Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • 关于提高复杂业务逻辑代码可读性的思考 编程经验分享 开发经验java数据库开发语言
    目录前言需求场景常规写法拆分方法领域对象总结前言实际工作中大部分时间都是在写业务逻辑，一般都是三层架构，表示层（Controller）接收客户端请求，并对入参做检验，业务逻辑层（Service）负责处理业务逻辑，一般开发都是在这一层中写具体的业务逻辑。数据访问层（Dao）是直接和数据库交互的，用于查数据给业务逻辑层，或者是将业务逻辑层处理后的数据写入数据库。简单的增删改查接口不用多说，基本上写好一
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 使用LLaVa和Ollama实现多模态RAG示例 llzwxh888 python人工智能开发语言
    本文将详细介绍如何使用LLaVa和Ollama实现多模态RAG（检索增强生成），通过提取图像中的结构化数据、生成图像字幕等功能来展示这一技术的强大之处。安装环境首先，您需要安装以下依赖包：!pipinstallllama-index-multi-modal-llms-ollama!pipinstallllama-index-readers-file!pipinstallunstructured!p
  • 使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twittereasyui前端python
    #使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
  • 利用Requests Toolkit轻松完成HTTP请求 nseejrukjhad http网络协议网络python
    RequestsToolkit的力量：轻松构建HTTP请求Agent在现代软件开发中，API请求是与外部服务交互的核心。RequestsToolkit提供了一种便捷的方式，帮助开发者构建自动化的HTTP请求Agent。本文旨在详细介绍RequestsToolkit的设置、使用和潜在挑战。引言RequestsToolkit是一个强大的工具包，可用于构建执行HTTP请求的智能代理。这对于想要自动化与外
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具 nseejrukjhad 数据库python
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • GitHub上克隆项目 bigbig猩猩 github
    从GitHub上克隆项目是一个简单且直接的过程，它允许你将远程仓库中的项目复制到你的本地计算机上，以便进行进一步的开发、测试或学习。以下是一个详细的步骤指南，帮助你从GitHub上克隆项目。一、准备工作1.安装Git在克隆GitHub项目之前，你需要在你的计算机上安装Git工具。Git是一个开源的分布式版本控制系统，用于跟踪和管理代码变更。你可以从Git的官方网站（https://git-scm.
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • 【目标检测数据集】卡车数据集1073张VOC+YOLO格式 熬夜写代码的平头哥∰ 目标检测YOLO人工智能
    数据集格式：PascalVOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)图片数量(jpg文件个数)：1073标注数量(xml文件个数)：1073标注数量(txt文件个数)：1073标注类别数：1标注类别名称:["truck"]每个类别标注的框数：truck框数=1120总框数：1120使用标注工具：labelImg标注
  • 2022现在哪个打车软件比较好用又便宜 实惠的打车软件合集 高省APP珊珊
    这是一个信息高速传播的社会。信息可以通过手机，微信，自媒体，抖音等方式进行传播。但同时这也是一个交通四通发达的社会。高省APP，是2022年推出的平台，0投资，0风险、高省APP佣金更高，模式更好，终端用户不流失。【高省】是一个自用省钱佣金高，分享推广赚钱多的平台，百度有几百万篇报道，也期待你的加入。珊珊导师，高省邀请码777777，注册送2皇冠会员，送万元推广大礼包，教你如何1年做到百万团队。高
  • MongoDB Oplog 窗口 喝醉酒的小白 MongoDB运维
    在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
  • Faiss Tips：高效向量搜索与聚类的利器 焦习娜Samantha
    FaissTips：高效向量搜索与聚类的利器faiss_tipsSomeusefultipsforfaiss项目地址:https://gitcode.com/gh_mirrors/fa/faiss_tips项目介绍Faiss是由FacebookAIResearch开发的一个用于高效相似性搜索和密集向量聚类的库。它支持多种硬件平台，包括CPU和GPU，能够在海量数据集上实现快速的近似最近邻搜索（AN
  • ARM中断处理过程 落汤老狗 嵌入式linux
    一、前言本文主要以ARM体系结构下的中断处理为例，讲述整个中断处理过程中的硬件行为和软件动作。具体整个处理过程分成三个步骤来描述：1、第二章描述了中断处理的准备过程2、第三章描述了当发生中的时候，ARM硬件的行为3、第四章描述了ARM的中断进入过程4、第五章描述了ARM的中断退出过程本文涉及的代码来自3.14内核。另外，本文注意描述ARM指令集的内容，有些sourcecode为了简短一些，删除了T
  • Dom 周华华 JavaScripthtml
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml&q
  • 【Spark九十六】RDD API之combineByKey bit1129 spark
    1. combineByKey函数的运行机制   RDD提供了很多针对元素类型为(K,V)的API，这些API封装在PairRDDFunctions类中，通过Scala隐式转换使用。这些API实现上是借助于combineByKey实现的。combineByKey函数本身也是RDD开放给Spark开发人员使用的API之一   首先看一下combineByKey的方法说明：
  • msyql设置密码报错：ERROR 1372 (HY000): 解决方法详解 daizj mysql设置密码
    MySql给用户设置权限同时指定访问密码时，会提示如下错误： ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number；   问题原因：你输入的密码是明文。不允许这么输入。   解决办法：用select password('你想输入的密码');查询出你的密码对应的字符串， 然后
  • 路漫漫其修远兮 吾将上下而求索 周凡杨 学习 思索
    王国维在他的《人间词话》中曾经概括了为学的三种境界古今之成大事业、大学问者，罔不经过三种之境界。“昨夜西风凋碧树。独上高楼，望尽天涯路。”此第一境界也。“衣带渐宽终不悔，为伊消得人憔悴。”此第二境界也。“众里寻他千百度，蓦然回首，那人却在灯火阑珊处。”此第三境界也。学习技术，这也是你必须经历的三种境界。第一层境界是说，学习的路是漫漫的，你必须做好充分的思想准备，如果半途而废还不如不要开始。这里，注
  • Hadoop(二)对话单的操作 朱辉辉33 hadoop
    Debug： 1、 A = LOAD '/user/hue/task.txt' USING PigStorage(' ') AS (col1,col2,col3); DUMP A; //输出结果前几行示例： (>ggsnPDPRecord(21),,) (-->recordType(0),,) (-->networkInitiation(1),,)
  • web报表工具FineReport常用函数的用法总结（日期和时间函数） 老A不折腾 finereport报表工具web开发
    web报表工具FineReport常用函数的用法总结（日期和时间函数）   说明：凡函数中以日期作为参数因子的，其中日期的形式都必须是yy/mm/dd。而且必须用英文环境下双引号(" ")引用。   DATE DATE(year,month,day):返回一个表示某一特定日期的系列数。 Year:代表年，可为一到四位数。 Month:代表月份。
  • c++ 宏定义中的##操作符 墙头上一根草 C++
    #与##在宏定义中的--宏展开 #include <stdio.h> #define f(a,b) a##b #define g(a)   #a #define h(a) g(a) int main() {       &nbs
  • 分析Spring源代码之，DI的实现 aijuans springDI现源代码
    (转) 分析Spring源代码之，DI的实现 2012/1/3 by tony                 接着上次的讲，以下这个sample [java]  view plain copy print
  • for循环的进化 alxw4616 JavaScript
    // for循环的进化 // 菜鸟 for (var i = 0; i < Things.length ; i++) { // Things[i] } // 老鸟 for (var i = 0, len = Things.length; i < len; i++) { // Things[i] } // 大师 for (var i = Things.le
  • 网络编程Socket和ServerSocket简单的使用 百合不是茶 网络编程基础IP地址端口
      网络编程;TCP/IP协议   网络:实现计算机之间的信息共享,数据资源的交换   协议:数据交换需要遵守的一种协议,按照约定的数据格式等写出去   端口:用于计算机之间的通信      每运行一个程序，系统会分配一个编号给该程序，作为和外界交换数据的唯一标识 0~65535   查看被使用的
  • JDK1.5 生产消费者 bijian1013 javathread生产消费者java多线程
    ArrayBlockingQueue：        一个由数组支持的有界阻塞队列。此队列按 FIFO（先进先出）原则对元素进行排序。队列的头部 是在队列中存在时间最长的元素。队列的尾部 是在队列中存在时间最短的元素。新元素插入到队列的尾部，队列检索操作则是从队列头部开始获得元素。 ArrayBlockingQueue的常用方法：
  • JAVA版身份证获取性别、出生日期及年龄 bijian1013 java性别出生日期年龄
            工作中需要根据身份证获取性别、出生日期及年龄，且要还要支持15位长度的身份证号码，网上搜索了一下，经过测试好像多少存在点问题，干脆自已写一个。 CertificateNo.java package com.bijian.study; import java.util.Calendar; import
  • 【Java范型六】范型与枚举 bit1129 java
    首先，枚举类型的定义不能带有类型参数，所以，不能把枚举类型定义为范型枚举类，例如下面的枚举类定义是有编译错的   public enum EnumGenerics<T> { //编译错，提示枚举不能带有范型参数 OK, ERROR; public <T> T get(T type) { return null;
  • 【Nginx五】Nginx常用日志格式含义 bit1129 nginx
    1. log_format 1.1 log_format指令用于指定日志的格式，格式：   log_format name(格式名称) type(格式样式)   1.2 如下是一个常用的Nginx日志格式：   log_format main '[$time_local]|$request_time|$status|$body_bytes
  • Lua 语言 15 分钟快速入门 ronin47 lua 基础
    - - 单行注释 - - [[      [多行注释] - - ]]   - - - - - - - - - - - 1. 变量 & 控制流 - - - - - - - - - - num = 23 - - 数字都是双精度 str = 'aspythonstring'
  • java-35.求一个矩阵中最大的二维矩阵 ( 元素和最大 ) bylijinnan java
    the idea is from: http://blog.csdn.net/zhanxinhang/article/details/6731134 public class MaxSubMatrix { /**see http://blog.csdn.net/zhanxinhang/article/details/6731134 * Q35 求一个矩阵中最大的二维
  • mongoDB文档型数据库特点 开窍的石头 mongoDB文档型数据库特点
    MongoDD: 文档型数据库存储的是Bson文档-->json的二进制 特点：内部是执行引擎是js解释器，把文档转成Bson结构，在查询时转换成js对象。 mongoDB传统型数据库对比    传统类型数据库：结构化数据，定好了表结构后每一个内容符合表结构的。也就是说每一行每一列的数据都是一样的    文档型数据库：不用定好数据结构，
  • [毕业季节]欢迎广大毕业生加入JAVA程序员的行列 comsci java
        一年一度的毕业季来临了。。。。。。。。      正在投简历的学弟学妹们。。。如果觉得学校推荐的单位和公司不适合自己的兴趣和专业，可以考虑来我们软件行业，做一名职业程序员。。。      软件行业的开发工具中，对初学者最友好的就是JAVA语言了，网络上不仅仅有大量的
  • PHP操作Excel – PHPExcel 基本用法详解 cuiyadll PHPExcel
    导出excel属性设置//Include classrequire_once('Classes/PHPExcel.php');require_once('Classes/PHPExcel/Writer/Excel2007.php');$objPHPExcel = new PHPExcel();//Set properties 设置文件属性$objPHPExcel->getProperties
  • IBM Webshpere MQ Client User Issue (MCAUSER) darrenzhu IBMjmsuserMQMCAUSER
    IBM MQ JMS Client去连接远端MQ Server的时候，需要提供User和Password吗？ 答案是根据情况而定，取决于所定义的Channel里面的属性Message channel agent user identifier (MCAUSER)的设置。 http://stackoverflow.com/questions/20209429/how-mca-user-i
  • 网线的接法 dcj3sjt126com
    一、PC连HUB (直连线)A端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 二、PC连PC （交叉线）A端：(568A)： 白绿，绿，白橙，蓝，白蓝，橙，白棕，棕； B端：（标准568B）：白橙，橙，白绿，蓝，白蓝，绿，白棕，棕。 三、HUB连HUB&nb
  • Vimium插件让键盘党像操作Vim一样操作Chrome dcj3sjt126com chromevim
    什么是键盘党？ 键盘党是指尽可能将所有电脑操作用键盘来完成，而不去动鼠标的人。鼠标应该说是新手们的最爱，很直观，指哪点哪，很听话！不过常常使用电脑的人，如果一直使用鼠标的话，手会发酸，因为操作鼠标的时候，手臂不是在一个自然的状态，臂肌会处于绷紧状态。而使用键盘则双手是放松状态，只有手指在动。而且尽量少的从鼠标移动到键盘来回操作，也省不少事。 在chrome里安装 vimium 插件
  • MongoDB查询（2）——数组查询[六] eksliang mongodbMongoDB查询数组
    MongoDB查询数组 转载请出自出处：http://eksliang.iteye.com/blog/2177292 一、概述  MongoDB查询数组与查询标量值是一样的，例如，有一个水果列表，如下所示： > db.food.find() { "_id" : "001", "fruits" : [ "苹
  • cordova读写文件（1） gundumw100 JavaScriptCordova
    使用cordova可以很方便的在手机sdcard中读写文件。 首先需要安装cordova插件：file 命令为： cordova plugin add org.apache.cordova.file 然后就可以读写文件了，这里我先是写入一个文件，具体的JS代码为： var datas=null;//datas need write var directory=&
  • HTML5 FormData 进行文件jquery ajax 上传 到又拍云 ileson jqueryAjaxhtml5FormData
    html5 新东西：FormData  可以提交二进制数据。 页面test.html <!DOCTYPE> <html> <head> <title> formdata file jquery ajax upload</title> </head> <body> <
  • swift appearanceWhenContainedIn:(version1.2 xcode6.4) 啸笑天 version
      swift1.2中没有oc中对应的方法： + (instancetype)appearanceWhenContainedIn:(Class <UIAppearanceContainer>)ContainerClass, ... NS_REQUIRES_NIL_TERMINATION;  解决方法： 在swift项目中新建oc类如下： #import &
  • java实现SMTP邮件服务器 macroli java编程
    电子邮件传递可以由多种协议来实现。目前，在Internet 网上最流行的三种电子邮件协议是SMTP、POP3 和 IMAP，下面分别简单介绍。 　　◆ SMTP 协议 　　简单邮件传输协议(Simple Mail Transfer Protocol,SMTP)是一个运行在TCP/IP之上的协议，用它发送和接收电子邮件。SMTP 服务器在默认端口25上监听。SMTP客户使用一组简单的、基于文本的
  • mongodb group by having where 查询sql qiaolevip 每天进步一点点学习永无止境mongo纵观千象
    SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250 db.orders.aggregate( [ { $match: { status: 'A' } }, { $group: {
  • Struts2 Pojo（六） Luob. POJOstrust2
    注意：附件中有完整案例 1.采用POJO对象的方法进行赋值和传值 2.web配置 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee&q
  • struts2步骤 wuai struts
    1、添加jar包 2、在web.xml中配置过滤器 <filter>        <filter-name>struts2</filter-name>        <filter-class>org.apache.st
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他