沃信科技T3 Sota安装配置手册（全）

产品介绍
　　　沃信T3数据库容灾软件是一款基于数据库日志技术的数据库数据同步复制软件，SOTA是其针对ORACLE数据库的同步程序模块。
功能介绍
支持各版本ORACLE数据库
支持各种LINUX32/64位操作系统
不停机初始化工具能够保证业务系统不停机的情况下快速进行
通过对日志文件读取，保证数据库交易的准确提取
完善的提取、分析、装载机制，保证数据在各环节的安全可靠
支持独立安装，保证对主机、备机的资源占用最小化，CPU不超过10%,内存不超过256M
模块化设计，多线程运行，保证数据库最快同步。
客户端支持WINDOWS98/2K/XP/2003，有独立的登陆校验机制。
增量日志传输能够保证数据在网络带宽很差的情况下达到实时同步
断点续传能保证数据在网络状况很不稳定的情况下达到实时同步，即使是卫星带宽

典型应用
ERP系统容灾    
OA 系统容灾
BOSS 系统容灾
Sota系统构架

Bus     ：总线模块 
Planner ：作业管理和调度模块
Sucker  ：日志抽取模块
Parser  ： 交易分析模块
Loader ： 交易装载模块
　　　沃信数据同步工具不需要在生产系统和备份系统上安装任何程序，只需要一个具有操作相应数据权限的数据库连接即可正常工作，不会影响生产系统和备份系统的可用性，只与生产系统和备份系统保留必须的交互，对生产系统的性能影响也非常小。
　　　沃信数据同步工具的抽取组件从源数据库的联机日志（Online Log）和归档日志（Archive Log）中捕获数据库日志（Redo Log）记录，再通过分析组件对获取的Redo Log进行分析，获取完整的交易记录和针对每个数据库表操作的SQL语句，然后通过装载组件在目标数据库中执行该SQL语句，同步数据库变更。
oBus
oBus是用于存取数据，把数据信息在各个模块里进行交换，减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心，其他各个模块在它的周围，它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件，它使用默认的配置文件，使用默认的端口号为6379。
Planner
Planner对应的模块名称为oPlanner.
oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。
　　oPlanner的作用：
管理作业
控制license
控制组件
调度组件
管理作业包括创建作业，更改作业，删除作业，启动作业，关闭作业。
Sucker
　　oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容，包含DDL和DML的日志。
Parser
　　oParser 组件是分析数据程序，它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析，分析后的数据操作再分成两部分：提交事务和未提交事务。
　　提交的事务经分析程序后保存到相对应表的索引文件中。
Loader
oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。
目录说明
Sota目录
目录 文件名 文件说明
sota/bin oSucker
oParser
oLoader
oPlanner
oLic
sotaCC oSucker是sota系统的抽取数据日志程序
oParser是sota系统的分析数据程序
oLoader是数据装载同步迁移程序
oPlanner是管理和调度oSucker/oParser/Loader的程序，oLic是使用sota系统的认证程序
sotaCC是字符界面管理sota系统程序
sota/conf oPlanner.cfg

License.dat oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。
License.dat文件无须配置是运行oLic程序后自动产生，决定使用者使用该SOTA系统的程度和时间。
sota/lib ReadMe 说明文件
sota/run JobList.xml


JobLoadFilter.xml JobList.xml 文件是关于作业信息的文件，在该文件中可以通过添加作业名来实现创建作业，删除作业名来实现删除作业操作，更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。
sota/log oPlanner.log

oPlanner.log.old 各有5M的空间用来存放运行程序日志文件，当oPlanner.log存满了之后，就将oPlanner.log的内容转到oPlanner.log.old中，继续存放新文件。
sotaData目录
sotaData文件可以供用户放多个作业（SOTA将数据从源库同步到目的库的过程抽象为一个作业），用来动态的存放数据文件。将它指向其他的磁盘阵列时 ，它可以不消耗本地资源。
目录 文件名 文件说明
sotaData/作业名/batData
sotaData/作业名/conf E_Config.xml
Filter.xml
P_Config.xml
L_Config_**.xml 存放作业的相关配置信息
sotaData/作业名/err 存放的是出错误或着装载失败的信息
sotaData/作业名/idxData 存放Tabsum的信息
sotaData/作业名/log 存放oSucker/oParser/Loader运行的日志信息
sotaData/作业名/metaData 存放表结构信息
sotaData/作业名/rowData
sotaData/作业名/run 存放运行之中产生的文件（如断点信息等）
sotaData/作业名/txnData 存放tabLoad_XX(备库)的信息


软硬件需求
硬件需求
如下：
设备 说明
CPU 2个以上
内存 1G以上
硬盘 两个以上，有阵列更好。每个磁盘40G以上
网卡 10M以上
软件需求
如下：
软件 说明
操作系统 Ubuntu (版本应为10.0.0.4及以上)
编译器 RPG、CL、SQL编译环境
FTP CLIENT 跟随相应操作系统的版本
REXEC CLIENT 跟随相应操作系统的版本
ssl共享库文件 libssl0.9.8，ssllib0.9.8-dbg
Linux硬件检测文件 dmidecode
Oracle 需安装有Oracle服务器或客户端,可为8i、9i、10g、11g任意版本

系统安装
空间准备
Sota所需要的空间：sota程序大小加上日志文件的大小，推荐至少60M以上磁盘空间。
sotaData所需的空间：按照作业量分配大小，为作业INIT数据加上日志增量，如：每天产生数据200M，运行一年，则磁盘大小至少200*365M
环境准备

检查源库和备库的TNS信息
1.找到存放tnsnames.ora的路径 ****/network/admin/tnsnames.ora
2.编辑更改tnsnames.ora文件 EBS =  
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.8.88)(PORT = 10010))
<!----描述配置客户端信息， PROTOCOL是协议，HOST主机IP地址，PORT端口号—oracle 默认1521，EBS系统server端设置的是10010，端口号必须与服务端设置相同------->
<!----客户端名由用户自定义命名----->
    (CONNECT_DATA =
      (SERVER = DEDICATED)         <!----连接模式： DEDICATED专用服务器连接， shared共享服务器连接---->
      (SERVICE_NAME = PORCLI)   <!---服务端数据库名字-----必须是安装数据库起的名字一致>
    )
  )



检查到源库和备库的网络是否联通
　　　打开终端，利用ping+IP地址，查看网络是否连通。例如，“ping 192.168.8.8 ”，返回结果:
PING 192.168.8.8 (192.168.8.8) 56(84) bytes of data.
64 bytes from 192.168.8.8: icmp_req=1 ttl=64 time=44.9 ms
64 bytes from 192.168.8.8: icmp_req=2 ttl=64 time=44.9 ms
64 bytes from 192.168.8.8: icmp_req=3 ttl=64 time=43.0 ms
则连通，否则未连通。

检查SQLPLUS程序是否存在
     查看是否有sqlplus，并且能连接数据库。用“which sqlplus”命令显示:
/.../sqlplus ，则有sqlplus。
检测源库和备库是否可以连接
　　然后用“tnsping  odb10g ”或者“sqlplus  scott/tiger@odb10g”得到结果：
SQL*Plus: Release 10.2.0.1.0 - Production on Thu Mar 21 17:03:04 2013
Copyright (c) 1982, 2005, Oracle.  All rights reserved.
Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, OLAP and Data Mining options 
则连上数据库，反之，则没连上。
检查SOTA需要的SSL共享库
     在终端中输入“locate libcrypt | grep crypt.so”查看ssl库是否在。
例如,”locate libcrypt | grep crypt.so”,返回结果：
/home/buddi/ora10g_l/lib/stubs/libcrypt.so
/home/buddi/ora10g_l/lib/stubs/libcrypt.so.1
/lib/i386-linux-gnu/libcrypt.so.1
/usr/lib/i386-linux-gnu/libcrypt.so

则存在，反之则不存在。
检查是否有dmidecode文件
　　查看是否有dmidecode.用“whereis  dmidecode”查看返回结果dmidecode: /usr/sbin/dmidecode/usr/share/man/man8/dmidecode.8.gz.则有该文件，反之，则无。
目录规划
　　　sota不能安装在/home目录下。
强烈建议在root的opt目录下放 sota文件夹与sotadata文件夹。
sota文件夹：/opt/sota
sotaData文件夹及子目录如下：/opt/sotaData/作业名/，并在其下依次建立9个文件夹：batData，conf，err，idxData，log，metaData，rowData，run，txnData.

sota安装
安装过程应在Oracle安装用户下进行，参照目录规划的内容，将sota与sotaData复制到该目录下。如打包文件名为
sota2.2.tar.gz.命令如下：  
cd  /opt
cp  sota2.2.tar.gz   .
tar zxvf  sota2.2.tar.gz      //解压sata2.2
mkdir sotaData
cd  /sotaData
mkdir 作业名
cd  /作业名
mkdir batData               
…                            //重复”mkdir  ***”创建目录规划的9文件夹。
完成后如下图所示：

注：初次安装者可直接将sotaData目录下example改为作业名。
安装配置
为了能够顺利进行安装验证，必须配置oplanner的Config文件。
启动oBus之前不需要配置任何文件，但启动oPlanner则不一样，它有Config文件。在启动前要配置好所需的Config文件，另外还需要License.dat和JobList.xml。为什么还要这两个文件呢？License.dat文件包含了名字，使用SOTA系统的开始时间，有效使用期限和KEY这些内容，根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。JobList.xml文件是用来配置作业名，作业的个数，源数据库和目标数据库的情况，有了作业的相关信息才能决定组件的情况。JobLoadFilter.xml文件有用来配置的作业名。
OPlanner配置这四个文件的顺序是：oPlanner.cfg-->License.dat   -->JobList.xml-->jobloadFilter.xml。oPlanner的运行必须需要这四个文件，这四个文件是相辅相成，缺一不可。
配置oPlanner.cfg文件
oPlanner.cfg文件是oPlanner的Config文件，主要是设置oPlanner的工作路径/ip地址和端口号。图oPlanner.cfg_1是对oPlanner.cfg文件的解释。oPlanner工作路径根据实际情况而定，这里的工作路径以/opt/sotaData 为例来配置oPlanner.cfg文件请参考图oPlanner.cfg_2。

　　oPlanner.cfg文件内容 变量描述 变量类型 变量值
　　ip ip地址 字符类型 　　127.0.0.1
　　port 端口号 数值类型 　　6379
　　jobDir oPlanner工作路径 字符类型      视实际情况而定
                           图oPlanner.cfg_1
oPlanner.cfg所在目录 ./sota/conf
Ip=127.0.0.1                                                      <!--      设置IP地址     -->
port=6379                                                          <!--      设置端口号    -->
jobDir=/opt/sotaData            <!--       工作路径必须填写，否则Oplanner无法运行    -->
                       图oPlanner.cfg_2
license.dat详解
　　　License.dat文件无须配置是运行oLic程序后自动产生，包含了名字，使用SOTA系统的开始时间，有效使用期限和KEY这些内容。决定了使用者使用该SOTA系统的程度 ，根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。普通用户使用该SOTA系统默认有效期为1个月，这段期间可以使用SOTA的全部功能，逾期后将不再拥有数据迁移的权限。
注意：第一次使用SOTA系统，要使用SOTACC程序运行start  OPlanner产生相应的license.dat文件（备注：每个安装SOTA系统的主机都有相对的license.dat文件，license.dat文件根据安装SOTA系统的主机的主板及网卡等信息来产生key）。
安装验证
• 检查哪些文件存在并且有执行权限，命令：
cd  /opt/sota
ll
cd  /opt/sotaData
ll
• 命令行启动oBusSvr测试，命令：
cd  /opt/sota/bin
./oBusSvr

另开启新终端，命令：
ps -ef | grep oBusSvr


查看oBus进程是否存在,若存在，则成功，反之，则失败。
• 命令行启动oPlanner测试，oBus启动后才能启动oPlanner，命令：
cd  /opt/sota/bin
./oPlanner
另开启新终端，命令：
ps -ef | grep oPlanner
查看oPlanner进程是否存在,若存在，则成功，反之，则失败。
创建作业
SOTA作业概念
　　　SOTA将数据从源库同步到目的库的过程抽象为一个作业。
一个作业包含了对操作目标（数据库）和操作流程（抽取／分析／装载）的定义。
这些定义分布和存放在不同目录下的不同文件中，这些文件整体构成一个作业的描述和定义。
   这些描述信息包含：
数据库描述和定义

文件名 路径 文件作用
JobList.xml Sota/run 设置作业名，设置源数据库名称，设置目标数据库的个数，设置目标数据库的编号，设置目标数据库的名称，设置目标数据库的装载个数

JobLoadFilter.xml Sota/run 源数据库中允许和不允许哪些用户及用户下的表同步到目标数据库的设置
2）组件的描述和定义
oSucker/oParser/oLoader三个组件通过oBus来交换信息，所以在各个组件的配置文件中包含IP地址和端口号的设置。每个作业都有对应的抽取组件/分析组件/装载组件，即这三个组件的配置文件中都设置了作业名。
文件名 路径 文件作用
E_Config.xml SotaData/作业名/conf oSucker配置信息，除了配置以上信息外还配置了源数据库名称，以及源数据库中的那个用户和密码登录源数据库，oSucker 程序运行的所在目录和抽取过滤文件（Filter.xml文件）
L_Config_**.xml SotaData/作业名/conf oLoader配置信息，除了配置以上信息外还包含了从源数据库的哪个用户装载到目标数据库的那个用户下，目标数据库的名字，以目标数据库的那个用户和密码登录目标数据库，oLoader的工作路径和与之相关的oSucker/oParser的工作路径
P_Config.xml SotaData/作业名/conf oParser配置文件，除了配置以上信息外还包含了oParser和oLoader的工作路径
Filter.xml SotaData/作业名/conf 允许/不允许源数据库中的哪些用户及用户下的表被提取的设置

创建第一个作业
　　　SOTA默认没有作业配置信息。利用SOTA完成数据同步的首要工作是建立一个作业！
　　　在创建作业之前首先要确认目标库和备库的名称，数据库SYS用户的密码，需要同步的用户或表名。
　　　下面仔细说明创建一个作业的基本流程！
　　　以job name为 Job001， 源数据库名为ODB10G ,目标数据库的个数为1，目标数据库的编号为1，目标数据库的名称为ODB11G,装载的个数为1为例来设置。

设置作业列表基本信息 –JobList.xml
　　　格式：参考图JobList.xml_1
注意： 该文件必须有，里面的各个信息必须正确，否则将创建错误的作业信息。具体怎样配置JobList.xml文件如下：1）进入JobList.xml所在目录  2）查看/编辑JobList.xml文件。如果不知道怎样配置JobList.xml文件请参考图JobList.xml_1。
    
　　JobList.xml所在目录 ./sota/run
<jobList>
<job name="Job001" >                                  <!--      设置作业名     -->
<srcdb name="ODB10G " />                 <!--      设置源数据库名     -->
<tgtdb num="1" >                                  <!--      设置目标数据库个数     -->
<attr id="1" name="ODB11G" LdrNum="1" />
                                                              <!--      设置目标数据库名，装载个数     -->
</tgtdb>
</job>
</jobList>
                   图JobList.xml_1

配置作业oSucker组件信息 – E_Config.xml
格式：参见图E_Config.xml  
注意：该文件必须有，里面的各个信息必须正确，否则oSucker组件无法运行。具体怎样配置E_Config.xml文件如下：1）进入E_Config.xml所在目录 2）查看/编辑E_Config.xml文件。如果不知道怎样配置E_Config.xml文件请参考图E_Config.xml。

　　E_Config.xml文件目录 ./sotaData/Job001/conf
<LogConfig>
   <oracle>
      <dbname>ODB10G</dbname>         <!--      设置源数据库名     -->
      <user>sys</user>                               <!--      设置源库用户名  必须SYSDBA权限     -->
      <password>sys</password>              <!--      设置源库用户密码     -->
   </oracle>
   <busIP>127.0.0.1</busIP>                   <!--      设置BUSIP地址     -->
   <busPort>6379</busPort>                    <!--       设置BUS端口号      -->
   <jobID>Job001</jobID>                      <!--     作业名,  必须是jobList.xml文件中存在    -->
   <workdir>/opt/sotaData/Job001</workdir>  
                                                    <!--      这个必须正确, 否则无法启动SUCKER    -->
   <filterFile>/opt/sotaData/Job001/conf/Filter.xml</filterFile>
      <!--      这个文件必须存在, 否则SUCKER无法工作，参看FILTER文件配置章节  -->
</LogConfig>
                         图E_Config.xml_2
配置Filter.xml信息 – Filter.xml
　　　格式：参见图Filter.xml_2
　　　注意：该文件必须有，里面的各个信息必须正确，否则抽取的数据可能不是想要的结果。具体怎样配置Filter.xml文件如下：1）进入Filter.xml所在目录 2）用vi编辑Filter.xml文件或者使用其他编辑工具编辑文件。
对owner模式进行限制，例：用户模式下允许oSucker抽取的用户是SCOTT和JQD，不允许oSucker抽取的表为SCOTT.DUMMY和JQD.OBJ
.
Filter所在目录 ./sotaData/Job001/conf
<filter>
   <mode>owner</mode>
   <omode>
  <list>SCOTT</list>                           <!--      允许SUCKER抽取的源库用户    -->    
  <list>JQD</list>
  <deny>SCOTT.DUMMY</deny>     <!--      不允许SUCKER抽取的源库用户下的表    -->
  <deny>JQD.OBJ</deny>
   </omode>
</filter>
对table模式进行限制，例：在表模式下允许oSucker抽取的表是JQD.DEPT.
Filter所在目录 ./sotaData/Job001/conf
<filter>
   <mode>table</mode>
<tmode>
  <list>JQD.DEPT</list>                     <!--      允许SUCKER抽取的源库用户的表    -->
   </tmode>
</filter>
对all模式限制，例： 在用户及表模式下不允许oSucker抽取的用户有'SYS', 'SYSTEM', 'SYSMAN', 'CTXSYS', 'DBSNMP', 'DMSYS', 'MDSYS', 'ORDSYS', 'RMAN', 'WKSYS', 'WMSYS'.
Filter所在目录 ./sotaData/Job001/conf
<filter>
   <mode>all</mode>
<all>
  <deny>'SYS', 'SYSTEM', 'SYSMAN', 'CTXSYS', 'DBSNMP', 'DMSYS', 'MDSYS', 'ORDSYS', 'RMAN', 'WKSYS', 'WMSYS'</deny> <!--      不允许SUCKER抽取的源库用户  -->
   </all>
</filter>

配置作业oParser 组件信息 – P_Config.xml
格式：参见图P_Config.xml_2
注意：该文件必须有，里面的各个信息必须正确，否则oParser组件无法运行。具体怎样配置P_Config.xml文件如下：1）进入P_Config.xml所在目录  2）查看/编辑P_Config.xml文件。
oBus的ip地址为 127.0.0.1，oBus的端口号为6379，根据以上内容为例编写P_Config.xml文件。详细内容请参考图P_Config.xml_2。
　　P_Config.xml文件目录 ./sotaData/Job001/conf
<PsrConfig>
   <workdir>/opt/sotaData/Job001</workdir>
                                                    <!--      这个必须正确, 否则无法启动Parser   -->
   <suckerdir>/opt/sotaData/Job001</suckerdir>
                                                    <!--      这个必须正确, 否则无法被SUCKER驱动    -->
   <busIP>127.0.0.1</busIP>                   <!--      设置BUSIP地址     -->
   <busPort>6379</busPort>                    <!--       设置BUS端口号      -->
   <jobID>Job001</jobID>                      <!--     作业名,  必须是jobList.xml文件中存在    -->
</PsrConfig>
                   图P_Config.xml_2
配置作业oLoader组件信息 –L_Config_**.xml
格式：参见图L_Config_**.xml_2.**为目标库名
注意：该文件必须有，里面的各个信息必须正确，否则oLoader组件无法运行。
　　L_Config_**.xml文件目录 ./sotaData/Job001/conf
<LoadConfig>
   <workdir>/opt/sotaData/Job001</workdir>
                                                      <!--      这个必须正确, 否则无法启动   -->   
   <suckerdir>/opt/sotaData/Job001</suckerdir>
                                                 <!--      这个必须正确, 否则无法被SUCKER驱动    -->
   <parserdir>/opt/sotaData/Job001</parserdir>
                                                      <!--      这个必须正确, 否则无法被Parser驱动    -->
   <busIP>127.0.0.1</busIP>                     <!--      设置BUSIP地址     -->
   <busPort>6379</busPort>                      <!--      设置BUS端口号      -->
   <jobID>Job001</jobID>                        <!--      作业名,  必须是jobList.xml文件中存在    -->
   <oracle>
      <dbname>ODB11G</dbname>         <!--      设置目标数据名     -->
      <user>sys</user>                               <!--      设置目标库用户名  必须SYSDBA权限     -->
      <password>sys</password>              <!--      设置目标库用户密码     -->
   </oracle>
   <ownermap>
  <from>scott</from>                       <!--      设置从哪个用户下的表同步     -->
  <to>jqd</to>                                   <!--      设置同步到哪个用户下     -->
   </ownermap>
</LoadConfig>
              图L_Config_**.xml_2
配置作业装载组件信息 – JobLoadFilter.xml
格式：参见图JobLoadFilter.xml_1
注意：该文件必须有，里面的各个信息必须正确，否则Loader组件无法运行。
每个不同作业中，目标数据库名字严禁相同，否则在处理作业信息时会出错。
具体怎样配置JobLoadFilter.xml文件如下：1）进入JobLoadFilter.xml所在目录 2）查看/编辑JobLoadFilter.xml文件。
下面以允许装载的源数据库中的SCOTT用户及不允许装载该用户下的dummy和test这两张表，根据以上内容为例编写JobLoadFilter.xml文件。详细内容请参考图JobLoadFilter.xml_1。

　　JobLoadFilter.xml文件目录 ./sota/run
<LoadFilter jobName="Job001" tgtDbName="ODB11G" >  
                                                       <!--      设置作业名，目标数据库名    -->
<allowOwner name="SCOTT">          <!--      设置允许的源库用户名    -->
<denyTable name="dummy" />   <!--      设置不允许装载的表名    -->
<denyTable name="test" />         <!--      设置不允许装载的表名    -->
</allowOwner>
</LoadFilter>
                    图JobLoadFilter.xml_1