Oracle 学习之RAC(八) 向集群中添加节点

  我们前面安装了两个节点的RAC。 我们现在将第三个节点11grac3,添加到我们集群中。第三个节点一定要按照集群环境准备一文描述,准备环境。请参考 http://lqding.blog.51cto.com/9123978/1684159 

  1. 安装前检查

11grac1-> pwd
/u01/app/11.2.0/grid/bin
11grac1-> ./cluvfy stage -pre nodeadd -n 11grac3 -fixup -verbose

检查结果

Performing pre-checks for node addition 

Checking node reachability...

Check: Node reachability from node "11grac1"
  Destination Node                      Reachable?              
  ------------------------------------  ------------------------
  11grac3                               yes                     
Result: Node reachability check passed from node "11grac1"


Checking user equivalence...

Check: User equivalence for user "grid"
  Node Name                             Status                  
  ------------------------------------  ------------------------
  11grac3                               passed                  
Result: User equivalence check passed for user "grid"

Checking node connectivity...

Checking hosts config file...
  Node Name                             Status                  
  ------------------------------------  ------------------------
  11grac1                               passed                  
  11grac2                               passed                  
  11grac3                               passed                  

Verification of the hosts config file successful


Interface information for node "11grac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.10  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth0   192.168.199.30  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth0   192.168.199.20  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth1   192.168.10.10   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:53:75:C6 1500  
 eth1   169.254.67.6    169.254.0.0     0.0.0.0         192.168.199.1   00:0C:29:53:75:C6 1500  


Interface information for node "11grac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.11  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:5A:86:53 1500  
 eth0   192.168.199.21  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:5A:86:53 1500  
 eth1   192.168.10.11   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:5A:86:5D 1500  
 eth1   169.254.72.43   169.254.0.0     0.0.0.0         192.168.199.1   00:0C:29:5A:86:5D 1500  


Interface information for node "11grac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.12  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:8A:12:9A 1500  
 eth1   192.168.10.12   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:8A:12:A4 1500  


Check: Node connectivity for interface "eth0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1[192.168.199.10]         11grac1[192.168.199.30]         yes             
  11grac1[192.168.199.10]         11grac1[192.168.199.20]         yes             
  11grac1[192.168.199.10]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.10]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.10]         11grac3[192.168.199.12]         yes             
  11grac1[192.168.199.30]         11grac1[192.168.199.20]         yes             
  11grac1[192.168.199.30]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.30]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.30]         11grac3[192.168.199.12]         yes             
  11grac1[192.168.199.20]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.20]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.20]         11grac3[192.168.199.12]         yes             
  11grac2[192.168.199.11]         11grac2[192.168.199.21]         yes             
  11grac2[192.168.199.11]         11grac3[192.168.199.12]         yes             
  11grac2[192.168.199.21]         11grac3[192.168.199.12]         yes             
Result: Node connectivity passed for interface "eth0"


Check: TCP connectivity of subnet "192.168.199.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1:192.168.199.10          11grac1:192.168.199.30          passed          
  11grac1:192.168.199.10          11grac1:192.168.199.20          passed          
  11grac1:192.168.199.10          11grac2:192.168.199.11          passed          
  11grac1:192.168.199.10          11grac2:192.168.199.21          passed          
  11grac1:192.168.199.10          11grac3:192.168.199.12          passed          
Result: TCP connectivity check passed for subnet "192.168.199.0"

Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.199.0".
Subnet mask consistency check passed.

Result: Node connectivity check passed

Checking multicast communication...

Checking subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0" passed.

Check of multicast communication passed.

Checking CRS integrity...

Clusterware version consistency passed
The Oracle Clusterware is healthy on node "11grac1"
The Oracle Clusterware is healthy on node "11grac2"

CRS integrity check passed

Checking shared resources...

Checking CRS home location...
"/u01/app/11.2.0/grid" is shared
Result: Shared resources check for node addition passed


Checking node connectivity...

Checking hosts config file...
  Node Name                             Status                  
  ------------------------------------  ------------------------
  11grac1                               passed                  
  11grac2                               passed                  
  11grac3                               passed                  

Verification of the hosts config file successful


Interface information for node "11grac1"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.10  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth0   192.168.199.30  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth0   192.168.199.20  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:53:75:BC 1500  
 eth1   192.168.10.10   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:53:75:C6 1500  
 eth1   169.254.67.6    169.254.0.0     0.0.0.0         192.168.199.1   00:0C:29:53:75:C6 1500  


Interface information for node "11grac2"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.11  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:5A:86:53 1500  
 eth0   192.168.199.21  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:5A:86:53 1500  
 eth1   192.168.10.11   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:5A:86:5D 1500  
 eth1   169.254.72.43   169.254.0.0     0.0.0.0         192.168.199.1   00:0C:29:5A:86:5D 1500  


Interface information for node "11grac3"
 Name   IP Address      Subnet          Gateway         Def. Gateway    HW Address        MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.199.12  192.168.199.0   0.0.0.0         192.168.199.1   00:0C:29:8A:12:9A 1500  
 eth1   192.168.10.12   192.168.10.0    0.0.0.0         192.168.199.1   00:0C:29:8A:12:A4 1500  


Check: Node connectivity for interface "eth0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1[192.168.199.10]         11grac1[192.168.199.30]         yes             
  11grac1[192.168.199.10]         11grac1[192.168.199.20]         yes             
  11grac1[192.168.199.10]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.10]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.10]         11grac3[192.168.199.12]         yes             
  11grac1[192.168.199.30]         11grac1[192.168.199.20]         yes             
  11grac1[192.168.199.30]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.30]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.30]         11grac3[192.168.199.12]         yes             
  11grac1[192.168.199.20]         11grac2[192.168.199.11]         yes             
  11grac1[192.168.199.20]         11grac2[192.168.199.21]         yes             
  11grac1[192.168.199.20]         11grac3[192.168.199.12]         yes             
  11grac2[192.168.199.11]         11grac2[192.168.199.21]         yes             
  11grac2[192.168.199.11]         11grac3[192.168.199.12]         yes             
  11grac2[192.168.199.21]         11grac3[192.168.199.12]         yes             
Result: Node connectivity passed for interface "eth0"


Check: TCP connectivity of subnet "192.168.199.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1:192.168.199.10          11grac1:192.168.199.30          passed          
  11grac1:192.168.199.10          11grac1:192.168.199.20          passed          
  11grac1:192.168.199.10          11grac2:192.168.199.11          passed          
  11grac1:192.168.199.10          11grac2:192.168.199.21          passed          
  11grac1:192.168.199.10          11grac3:192.168.199.12          passed          
Result: TCP connectivity check passed for subnet "192.168.199.0"


Check: Node connectivity for interface "eth1"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1[192.168.10.10]          11grac2[192.168.10.11]          yes             
  11grac1[192.168.10.10]          11grac3[192.168.10.12]          yes             
  11grac2[192.168.10.11]          11grac3[192.168.10.12]          yes             
Result: Node connectivity passed for interface "eth1"


Check: TCP connectivity of subnet "192.168.10.0"
  Source                          Destination                     Connected?      
  ------------------------------  ------------------------------  ----------------
  11grac1:192.168.10.10           11grac2:192.168.10.11           passed          
  11grac1:192.168.10.10           11grac3:192.168.10.12           passed          
Result: TCP connectivity check passed for subnet "192.168.10.0"

Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.199.0".
Subnet mask consistency check passed for subnet "192.168.10.0".
Subnet mask consistency check passed.

Result: Node connectivity check passed

Checking multicast communication...

Checking subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0" passed.

Checking subnet "192.168.10.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.10.0" for multicast communication with multicast group "230.0.1.0" passed.

Check of multicast communication passed.

Check: Total memory 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       1.9535GB (2048424.0KB)    1.5GB (1572864.0KB)       passed    
  11grac1       1.9535GB (2048424.0KB)    1.5GB (1572864.0KB)       passed    
Result: Total memory check passed

Check: Available memory 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       1.7724GB (1858504.0KB)    50MB (51200.0KB)          passed    
  11grac1       671.7305MB (687852.0KB)   50MB (51200.0KB)          passed    
Result: Available memory check passed

Check: Swap space 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       1.9531GB (2047996.0KB)    2.9303GB (3072636.0KB)    failed    
  11grac1       1.9531GB (2047996.0KB)    2.9303GB (3072636.0KB)    failed    
Result: Swap space check failed

Check: Free disk space for "11grac3:/u01/app/11.2.0/grid,11grac3:/tmp" 
  Path              Node Name     Mount point   Available     Required      Status      
  ----------------  ------------  ------------  ------------  ------------  ------------
  /u01/app/11.2.0/grid  11grac3       /             14.1611GB     7.5GB         passed      
  /tmp              11grac3       /             14.1611GB     7.5GB         passed      
Result: Free disk space check passed for "11grac3:/u01/app/11.2.0/grid,11grac3:/tmp"

Check: Free disk space for "11grac1:/u01/app/11.2.0/grid,11grac1:/tmp" 
  Path              Node Name     Mount point   Available     Required      Status      
  ----------------  ------------  ------------  ------------  ------------  ------------
  /u01/app/11.2.0/grid  11grac1       /             3.9131GB      7.5GB         failed      
  /tmp              11grac1       /             3.9131GB      7.5GB         failed      
Result: Free disk space check failed for "11grac1:/u01/app/11.2.0/grid,11grac1:/tmp"

Check: User existence for "grid" 
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  11grac3       passed                    exists(1100)            
  11grac1       passed                    exists(1100)            

Checking for multiple users with UID value 1100
Result: Check for multiple users with UID value 1100 passed 
Result: User existence check passed for "grid"

Check: Run level 
  Node Name     run level                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       5                         3,5                       passed    
  11grac1       5                         3,5                       passed    
Result: Run level check passed

Check: Hard limits for "maximum open file descriptors" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  11grac1           hard          65536         65536         passed          
  11grac3           hard          65536         65536         passed          
Result: Hard limits check passed for "maximum open file descriptors"

Check: Soft limits for "maximum open file descriptors" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  11grac1           soft          1024          1024          passed          
  11grac3           soft          1024          1024          passed          
Result: Soft limits check passed for "maximum open file descriptors"

Check: Hard limits for "maximum user processes" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  11grac1           hard          16384         16384         passed          
  11grac3           hard          16384         16384         passed          
Result: Hard limits check passed for "maximum user processes"

Check: Soft limits for "maximum user processes" 
  Node Name         Type          Available     Required      Status          
  ----------------  ------------  ------------  ------------  ----------------
  11grac1           soft          2047          2047          passed          
  11grac3           soft          2047          2047          passed          
Result: Soft limits check passed for "maximum user processes"

Check: System architecture 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       x86_64                    x86_64                    passed    
  11grac1       x86_64                    x86_64                    passed    
Result: System architecture check passed

Check: Kernel version 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       2.6.39-400.17.1.el6uek.x86_64  2.6.32                    passed    
  11grac1       2.6.39-400.17.1.el6uek.x86_64  2.6.32                    passed    
Result: Kernel version check passed

Check: Kernel parameter for "semmsl" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           250           250           250           passed          
  11grac3           250           250           250           passed          
Result: Kernel parameter check passed for "semmsl"

Check: Kernel parameter for "semmns" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           32000         32000         32000         passed          
  11grac3           32000         32000         32000         passed          
Result: Kernel parameter check passed for "semmns"

Check: Kernel parameter for "semopm" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           100           100           100           passed          
  11grac3           100           100           100           passed          
Result: Kernel parameter check passed for "semopm"

Check: Kernel parameter for "semmni" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           128           128           128           passed          
  11grac3           128           128           128           passed          
Result: Kernel parameter check passed for "semmni"

Check: Kernel parameter for "shmmax" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           1054472192    1054472192    1048793088    passed          
  11grac3           1054472192    1054472192    1048793088    passed          
Result: Kernel parameter check passed for "shmmax"

Check: Kernel parameter for "shmmni" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           4096          4096          4096          passed          
  11grac3           4096          4096          4096          passed          
Result: Kernel parameter check passed for "shmmni"

Check: Kernel parameter for "shmall" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           2097152       2097152       2097152       passed          
  11grac3           2097152       2097152       2097152       passed          
Result: Kernel parameter check passed for "shmall"

Check: Kernel parameter for "file-max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           6815744       6815744       6815744       passed          
  11grac3           6815744       6815744       6815744       passed          
Result: Kernel parameter check passed for "file-max"

Check: Kernel parameter for "ip_local_port_range" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  passed          
  11grac3           between 9000.0 & 65500.0  between 9000.0 & 65500.0  between 9000.0 & 65500.0  passed          
Result: Kernel parameter check passed for "ip_local_port_range"

Check: Kernel parameter for "rmem_default" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           262144        262144        262144        passed          
  11grac3           262144        262144        262144        passed          
Result: Kernel parameter check passed for "rmem_default"

Check: Kernel parameter for "rmem_max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           4194304       4194304       4194304       passed          
  11grac3           4194304       4194304       4194304       passed          
Result: Kernel parameter check passed for "rmem_max"

Check: Kernel parameter for "wmem_default" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           262144        262144        262144        passed          
  11grac3           262144        262144        262144        passed          
Result: Kernel parameter check passed for "wmem_default"

Check: Kernel parameter for "wmem_max" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           1048586       1048586       1048576       passed          
  11grac3           1048586       1048586       1048576       passed          
Result: Kernel parameter check passed for "wmem_max"

Check: Kernel parameter for "aio-max-nr" 
  Node Name         Current       Configured    Required      Status        Comment     
  ----------------  ------------  ------------  ------------  ------------  ------------
  11grac1           1048576       1048576       1048576       passed          
  11grac3           1048576       1048576       1048576       passed          
Result: Kernel parameter check passed for "aio-max-nr"

Check: Package existence for "binutils" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       binutils-2.20.51.0.2-5.36.el6  binutils-2.20.51.0.2      passed    
  11grac1       binutils-2.20.51.0.2-5.36.el6  binutils-2.20.51.0.2      passed    
Result: Package existence check passed for "binutils"

Check: Package existence for "compat-libcap1" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       compat-libcap1-1.10-1     compat-libcap1-1.10       passed    
  11grac1       compat-libcap1-1.10-1     compat-libcap1-1.10       passed    
Result: Package existence check passed for "compat-libcap1"

Check: Package existence for "compat-libstdc++-33(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed    
  11grac1       compat-libstdc++-33(x86_64)-3.2.3-69.el6  compat-libstdc++-33(x86_64)-3.2.3  passed    
Result: Package existence check passed for "compat-libstdc++-33(x86_64)"

Check: Package existence for "libgcc(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       libgcc(x86_64)-4.4.7-3.el6  libgcc(x86_64)-4.4.4      passed    
  11grac1       libgcc(x86_64)-4.4.7-3.el6  libgcc(x86_64)-4.4.4      passed    
Result: Package existence check passed for "libgcc(x86_64)"

Check: Package existence for "libstdc++(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       libstdc++(x86_64)-4.4.7-3.el6  libstdc++(x86_64)-4.4.4   passed    
  11grac1       libstdc++(x86_64)-4.4.7-3.el6  libstdc++(x86_64)-4.4.4   passed    
Result: Package existence check passed for "libstdc++(x86_64)"

Check: Package existence for "libstdc++-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       libstdc++-devel(x86_64)-4.4.7-3.el6  libstdc++-devel(x86_64)-4.4.4  passed    
  11grac1       libstdc++-devel(x86_64)-4.4.7-3.el6  libstdc++-devel(x86_64)-4.4.4  passed    
Result: Package existence check passed for "libstdc++-devel(x86_64)"

Check: Package existence for "sysstat" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       sysstat-9.0.4-20.el6      sysstat-9.0.4             passed    
  11grac1       sysstat-9.0.4-20.el6      sysstat-9.0.4             passed    
Result: Package existence check passed for "sysstat"

Check: Package existence for "gcc" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       gcc-4.4.7-3.el6           gcc-4.4.4                 passed    
  11grac1       gcc-4.4.7-3.el6           gcc-4.4.4                 passed    
Result: Package existence check passed for "gcc"

Check: Package existence for "gcc-c++" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       gcc-c++-4.4.7-3.el6       gcc-c++-4.4.4             passed    
  11grac1       gcc-c++-4.4.7-3.el6       gcc-c++-4.4.4             passed    
Result: Package existence check passed for "gcc-c++"

Check: Package existence for "ksh" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       ksh-20100621-19.el6       ksh-20100621              passed    
  11grac1       ksh-20100621-19.el6       ksh-20100621              passed    
Result: Package existence check passed for "ksh"

Check: Package existence for "make" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       make-3.81-20.el6          make-3.81                 passed    
  11grac1       make-3.81-20.el6          make-3.81                 passed    
Result: Package existence check passed for "make"

Check: Package existence for "glibc(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       glibc(x86_64)-2.12-1.107.el6  glibc(x86_64)-2.12        passed    
  11grac1       glibc(x86_64)-2.12-1.107.el6  glibc(x86_64)-2.12        passed    
Result: Package existence check passed for "glibc(x86_64)"

Check: Package existence for "glibc-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       glibc-devel(x86_64)-2.12-1.107.el6  glibc-devel(x86_64)-2.12  passed    
  11grac1       glibc-devel(x86_64)-2.12-1.107.el6  glibc-devel(x86_64)-2.12  passed    
Result: Package existence check passed for "glibc-devel(x86_64)"

Check: Package existence for "libaio(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed    
  11grac1       libaio(x86_64)-0.3.107-10.el6  libaio(x86_64)-0.3.107    passed    
Result: Package existence check passed for "libaio(x86_64)"

Check: Package existence for "libaio-devel(x86_64)" 
  Node Name     Available                 Required                  Status    
  ------------  ------------------------  ------------------------  ----------
  11grac3       libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed    
  11grac1       libaio-devel(x86_64)-0.3.107-10.el6  libaio-devel(x86_64)-0.3.107  passed    
Result: Package existence check passed for "libaio-devel(x86_64)"

Checking for multiple users with UID value 0
Result: Check for multiple users with UID value 0 passed 

Check: Current group ID 
Result: Current group ID check passed

Starting check for consistency of primary group of root user
  Node Name                             Status                  
  ------------------------------------  ------------------------
  11grac3                               passed                  
  11grac1                               passed                  

Check for consistency of root user's primary group passed

Checking OCR integrity...

OCR integrity check passed

Checking Oracle Cluster Voting Disk configuration...

Oracle Cluster Voting Disk configuration check passed
Check: Time zone consistency 
Result: Time zone consistency check passed

Starting Clock synchronization checks using Network Time Protocol(NTP)...

NTP Configuration file check started...
Network Time Protocol(NTP) configuration file not found on any of the nodes. Oracle Cluster Time Synchronization Service(CTSS) can be used instead of NTP for time synchronization on the cluster nodes
No NTP Daemons or Services were found to be running

Result: Clock synchronization check using Network Time Protocol(NTP) passed


Checking to make sure user "grid" is not in "root" group
  Node Name     Status                    Comment                 
  ------------  ------------------------  ------------------------
  11grac3       passed                    does not exist          
  11grac1       passed                    does not exist          
Result: User "grid" is not part of "root" group. Check passed
Checking consistency of file "/etc/resolv.conf" across nodes

Checking the file "/etc/resolv.conf" to make sure only one of domain and search entries is defined
File "/etc/resolv.conf" does not have both domain and search entries defined
Checking if domain entry in file "/etc/resolv.conf" is consistent across the nodes...
domain entry in file "/etc/resolv.conf" is consistent across nodes
Checking if search entry in file "/etc/resolv.conf" is consistent across the nodes...
search entry in file "/etc/resolv.conf" is consistent across nodes
Checking file "/etc/resolv.conf" to make sure that only one search entry is defined
All nodes have one search entry defined in file "/etc/resolv.conf"
Checking all nodes to make sure that search entry is "localdomain.com" as found on node "11grac1"
All nodes of the cluster have same value for 'search'
Checking DNS response time for an unreachable node
  Node Name                             Status                  
  ------------------------------------  ------------------------
  11grac1                               failed                  
  11grac3                               failed                  
PRVF-5637 : DNS response time could not be checked on following nodes: 11grac1,11grac3

File "/etc/resolv.conf" is not consistent across nodes


Pre-check for node addition was unsuccessful on all the nodes.

从检查结果可以看出,只有swap尺寸和DNS没有通过,但是使用nslookup验证DNS是没有问题的,这两个问题我们忽略。


2. 将Grid Infrastructure安装到新节点中

11grac1-> pwd
/u01/app/11.2.0/grid/oui/bin
11grac1-> ./addNode.sh -silent "CLUSTER_NEW_NODES"={11grac3} CLUSTER_NEW_VIRTUAL_HOSTNAMES={11grac3-vip}

此命令还会运行第一步的所有检查,如果有一项不通过,则退出安装。那么我们必须解决DNS的问题,和swap空间。

SWAP:添加一个4G的磁盘

[root@11grac3 ~]# fdisk /dev/sdb
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-522, default 1): 
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-522, default 522): 
Using default value 522

Command (m for help): t
Selected partition 1
Hex code (type L to list codes): L

 0  Empty           24  NEC DOS         81  Minix / old Lin bf  Solaris        
 1  FAT12           39  Plan 9          82  Linux swap / So c1  DRDOS/sec (FAT-
 2  XENIX root      3c  PartitionMagic  83  Linux           c4  DRDOS/sec (FAT-
 3  XENIX usr       40  Venix 80286     84  OS/2 hidden C:  c6  DRDOS/sec (FAT-
 4  FAT16 <32M      41  PPC PReP Boot   85  Linux extended  c7  Syrinx         
 5  Extended        42  SFS             86  NTFS volume set da  Non-FS data    
 6  FAT16           4d  QNX4.x          87  NTFS volume set db  CP/M / CTOS / .
 7  HPFS/NTFS       4e  QNX4.x 2nd part 88  Linux plaintext de  Dell Utility   
 8  AIX             4f  QNX4.x 3rd part 8e  Linux LVM       df  BootIt         
 9  AIX bootable    50  OnTrack DM      93  Amoeba          e1  DOS access     
 a  OS/2 Boot Manag 51  OnTrack DM6 Aux 94  Amoeba BBT      e3  DOS R/O        
 b  W95 FAT32       52  CP/M            9f  BSD/OS          e4  SpeedStor      
 c  W95 FAT32 (LBA) 53  OnTrack DM6 Aux a0  IBM Thinkpad hi eb  BeOS fs        
 e  W95 FAT16 (LBA) 54  OnTrackDM6      a5  FreeBSD         ee  GPT            
 f  W95 Ext'd (LBA) 55  EZ-Drive        a6  OpenBSD         ef  EFI (FAT-12/16/
10  OPUS            56  Golden Bow      a7  NeXTSTEP        f0  Linux/PA-RISC b
11  Hidden FAT12    5c  Priam Edisk     a8  Darwin UFS      f1  SpeedStor      
12  Compaq diagnost 61  SpeedStor       a9  NetBSD          f4  SpeedStor      
14  Hidden FAT16 <3 63  GNU HURD or Sys ab  Darwin boot     f2  DOS secondary  
16  Hidden FAT16    64  Novell Netware  af  HFS / HFS+      fb  VMware VMFS    
17  Hidden HPFS/NTF 65  Novell Netware  b7  BSDI fs         fc  VMware VMKCORE 
18  AST SmartSleep  70  DiskSecure Mult b8  BSDI swap       fd  Linux raid auto
1b  Hidden W95 FAT3 75  PC/IX           bb  Boot Wizard hid fe  LANstep        
1c  Hidden W95 FAT3 80  Old Minix       be  Solaris boot    ff  BBT            
1e  Hidden W95 FAT1
Hex code (type L to list codes): 82
Changed system type of partition 1 to 82 (Linux swap / Solaris)

Command (m for help): w
The partition table has been altered!

[root@11grac3 ~]# mkswap /dev/sdb1 
Setting up swapspace version 1, size = 4192928 KiB
no label, UUID=4f33fff7-a558-46c7-b51b-624f872178cd

修改/etc/fstab
/dev/sdb1               swap                    swap    defaults        0 0

DNS:三台机器都做如下操作

[root@11grac2 bin]# mv nslookup nslookup_orig 
新建一个nslookup,内容如下
[root@11grac2 bin]# cat nslookup
#!/bin/bash
nslookup_orig $*
echo 0
[root@11grac2 bin]# chmod a+x nslookup


11grac1-> ./addNode.sh -silent "CLUSTER_NEW_NODES"={11grac3} CLUSTER_NEW_VIRTUAL_HOSTNAMES={11grac3-vip}

Performing pre-checks for node addition 

Checking node reachability...
Node reachability check passed from node "11grac1"


Checking user equivalence...
User equivalence check passed for user "grid"

Checking node connectivity...

Checking hosts config file...

Verification of the hosts config file successful

Check: Node connectivity for interface "eth0"
Node connectivity passed for interface "eth0"
TCP connectivity check passed for subnet "192.168.199.0"

Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.199.0".
Subnet mask consistency check passed.

Node connectivity check passed

Checking multicast communication...

Checking subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0" passed.

Check of multicast communication passed.

Checking CRS integrity...

Clusterware version consistency passed

CRS integrity check passed

Checking shared resources...

Checking CRS home location...
"/u01/app/11.2.0/grid" is shared
Shared resources check for node addition passed


Checking node connectivity...

Checking hosts config file...

Verification of the hosts config file successful

Check: Node connectivity for interface "eth0"
Node connectivity passed for interface "eth0"
TCP connectivity check passed for subnet "192.168.199.0"


Check: Node connectivity for interface "eth1"
Node connectivity passed for interface "eth1"
TCP connectivity check passed for subnet "192.168.10.0"

Checking subnet mask consistency...
Subnet mask consistency check passed for subnet "192.168.199.0".
Subnet mask consistency check passed for subnet "192.168.10.0".
Subnet mask consistency check passed.

Node connectivity check passed

Checking multicast communication...

Checking subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.199.0" for multicast communication with multicast group "230.0.1.0" passed.

Checking subnet "192.168.10.0" for multicast communication with multicast group "230.0.1.0"...
Check of subnet "192.168.10.0" for multicast communication with multicast group "230.0.1.0" passed.

Check of multicast communication passed.
Total memory check passed
Available memory check passed
Swap space check passed
Free disk space check passed for "11grac3:/u01/app/11.2.0/grid,11grac3:/tmp"
Free disk space check failed for "11grac1:/u01/app/11.2.0/grid,11grac1:/tmp"
Check failed on nodes: 
	11grac1
Check for multiple users with UID value 1100 passed 
User existence check passed for "grid"
Run level check passed
Hard limits check passed for "maximum open file descriptors"
Soft limits check passed for "maximum open file descriptors"
Hard limits check passed for "maximum user processes"
Soft limits check passed for "maximum user processes"
System architecture check passed
Kernel version check passed
Kernel parameter check passed for "semmsl"
Kernel parameter check passed for "semmns"
Kernel parameter check passed for "semopm"
Kernel parameter check passed for "semmni"
Kernel parameter check passed for "shmmax"
Kernel parameter check passed for "shmmni"
Kernel parameter check passed for "shmall"
Kernel parameter check passed for "file-max"
Kernel parameter check passed for "ip_local_port_range"
Kernel parameter check passed for "rmem_default"
Kernel parameter check passed for "rmem_max"
Kernel parameter check passed for "wmem_default"
Kernel parameter check passed for "wmem_max"
Kernel parameter check passed for "aio-max-nr"
Package existence check passed for "binutils"
Package existence check passed for "compat-libcap1"
Package existence check passed for "compat-libstdc++-33(x86_64)"
Package existence check passed for "libgcc(x86_64)"
Package existence check passed for "libstdc++(x86_64)"
Package existence check passed for "libstdc++-devel(x86_64)"
Package existence check passed for "sysstat"
Package existence check passed for "gcc"
Package existence check passed for "gcc-c++"
Package existence check passed for "ksh"
Package existence check passed for "make"
Package existence check passed for "glibc(x86_64)"
Package existence check passed for "glibc-devel(x86_64)"
Package existence check passed for "libaio(x86_64)"
Package existence check passed for "libaio-devel(x86_64)"
Check for multiple users with UID value 0 passed 
Current group ID check passed

Starting check for consistency of primary group of root user

Check for consistency of root user's primary group passed

Checking OCR integrity...

OCR integrity check passed

Checking Oracle Cluster Voting Disk configuration...

Oracle Cluster Voting Disk configuration check passed
Time zone consistency check passed

Starting Clock synchronization checks using Network Time Protocol(NTP)...

NTP Configuration file check started...
No NTP Daemons or Services were found to be running

Clock synchronization check using Network Time Protocol(NTP) passed


User "grid" is not part of "root" group. Check passed
Checking consistency of file "/etc/resolv.conf" across nodes

File "/etc/resolv.conf" does not have both domain and search entries defined
domain entry in file "/etc/resolv.conf" is consistent across nodes
search entry in file "/etc/resolv.conf" is consistent across nodes
All nodes have one search entry defined in file "/etc/resolv.conf"
The DNS response time for an unreachable node is within acceptable limit on all nodes

File "/etc/resolv.conf" is consistent across nodes

Checking VIP configuration.
Checking VIP Subnet configuration.
Check for VIP Subnet configuration passed.
Checking VIP reachability
Check for VIP reachability passed.

Pre-check for node addition was successful. 
Starting Oracle Universal Installer...

Checking swap space: must be greater than 500 MB.   Actual 5770 MB    Passed
Oracle Universal Installer, Version 11.2.0.3.0 Production
Copyright (C) 1999, 2011, Oracle. All rights reserved.


Performing tests to see whether nodes 11grac2,11grac3 are available
............................................................... 100% Done.

..
-----------------------------------------------------------------------------
Cluster Node Addition Summary
Global Settings
   Source: /u01/app/11.2.0/grid
   New Nodes
Space Requirements
   New Nodes
      11grac3
         /: Required 3.91GB : Available 13.17GB
Installed Products
   Product Names
      Oracle Grid Infrastructure 11.2.0.3.0 
      Sun JDK 1.5.0.30.03 
      Installer SDK Component 11.2.0.3.0 
      Oracle One-Off Patch Installer 11.2.0.1.7 
      Oracle Universal Installer 11.2.0.3.0 
      Oracle USM Deconfiguration 11.2.0.3.0 
      Oracle Configuration Manager Deconfiguration 10.3.1.0.0 
      Enterprise Manager Common Core Files 10.2.0.4.4 
      Oracle DBCA Deconfiguration 11.2.0.3.0 
      Oracle RAC Deconfiguration 11.2.0.3.0 
      Oracle Quality of Service Management (Server) 11.2.0.3.0 
      Installation Plugin Files 11.2.0.3.0 
      Universal Storage Manager Files 11.2.0.3.0 
      Oracle Text Required Support Files 11.2.0.3.0 
      Automatic Storage Management Assistant 11.2.0.3.0 
      Oracle Database 11g Multimedia Files 11.2.0.3.0 
      Oracle Multimedia Java Advanced Imaging 11.2.0.3.0 
      Oracle Globalization Support 11.2.0.3.0 
      Oracle Multimedia Locator RDBMS Files 11.2.0.3.0 
      Oracle Core Required Support Files 11.2.0.3.0 
      Bali Share 1.1.18.0.0 
      Oracle Database Deconfiguration 11.2.0.3.0 
      Oracle Quality of Service Management (Client) 11.2.0.3.0 
      Expat libraries 2.0.1.0.1 
      Oracle Containers for Java 11.2.0.3.0 
      Perl Modules 5.10.0.0.1 
      Secure Socket Layer 11.2.0.3.0 
      Oracle JDBC/OCI Instant Client 11.2.0.3.0 
      Oracle Multimedia Client Option 11.2.0.3.0 
      LDAP Required Support Files 11.2.0.3.0 
      Character Set Migration Utility 11.2.0.3.0 
      Perl Interpreter 5.10.0.0.2 
      PL/SQL Embedded Gateway 11.2.0.3.0 
      OLAP SQL Scripts 11.2.0.3.0 
      Database SQL Scripts 11.2.0.3.0 
      Oracle Extended Windowing Toolkit 3.4.47.0.0 
      SSL Required Support Files for InstantClient 11.2.0.3.0 
      SQL*Plus Files for Instant Client 11.2.0.3.0 
      Oracle Net Required Support Files 11.2.0.3.0 
      Oracle Database User Interface 2.2.13.0.0 
      RDBMS Required Support Files for Instant Client 11.2.0.3.0 
      RDBMS Required Support Files Runtime 11.2.0.3.0 
      XML Parser for Java 11.2.0.3.0 
      Oracle Security Developer Tools 11.2.0.3.0 
      Oracle Wallet Manager 11.2.0.3.0 
      Enterprise Manager plugin Common Files 11.2.0.3.0 
      Platform Required Support Files 11.2.0.3.0 
      Oracle JFC Extended Windowing Toolkit 4.2.36.0.0 
      RDBMS Required Support Files 11.2.0.3.0 
      Oracle Ice Browser 5.2.3.6.0 
      Oracle Help For Java 4.2.9.0.0 
      Enterprise Manager Common Files 10.2.0.4.3 
      Deinstallation Tool 11.2.0.3.0 
      Oracle Java Client 11.2.0.3.0 
      Cluster Verification Utility Files 11.2.0.3.0 
      Oracle Notification Service (eONS) 11.2.0.3.0 
      Oracle LDAP administration 11.2.0.3.0 
      Cluster Verification Utility Common Files 11.2.0.3.0 
      Oracle Clusterware RDBMS Files 11.2.0.3.0 
      Oracle Locale Builder 11.2.0.3.0 
      Oracle Globalization Support 11.2.0.3.0 
      Buildtools Common Files 11.2.0.3.0 
      Oracle RAC Required Support Files-HAS 11.2.0.3.0 
      SQL*Plus Required Support Files 11.2.0.3.0 
      XDK Required Support Files 11.2.0.3.0 
      Agent Required Support Files 10.2.0.4.3 
      Parser Generator Required Support Files 11.2.0.3.0 
      Precompiler Required Support Files 11.2.0.3.0 
      Installation Common Files 11.2.0.3.0 
      Required Support Files 11.2.0.3.0 
      Oracle JDBC/THIN Interfaces 11.2.0.3.0 
      Oracle Multimedia Locator 11.2.0.3.0 
      Oracle Multimedia 11.2.0.3.0 
      HAS Common Files 11.2.0.3.0 
      Assistant Common Files 11.2.0.3.0 
      PL/SQL 11.2.0.3.0 
      HAS Files for DB 11.2.0.3.0 
      Oracle Recovery Manager 11.2.0.3.0 
      Oracle Database Utilities 11.2.0.3.0 
      Oracle Notification Service 11.2.0.3.0 
      SQL*Plus 11.2.0.3.0 
      Oracle Netca Client 11.2.0.3.0 
      Oracle Net 11.2.0.3.0 
      Oracle JVM 11.2.0.3.0 
      Oracle Internet Directory Client 11.2.0.3.0 
      Oracle Net Listener 11.2.0.3.0 
      Cluster Ready Services Files 11.2.0.3.0 
      Oracle Database 11g 11.2.0.3.0 
-----------------------------------------------------------------------------


Instantiating scripts for add node (Thursday, August 13, 2015 10:28:25 PM CST)
.                                                                 1% Done.
Instantiation of add node scripts complete

Copying to remote nodes (Thursday, August 13, 2015 10:28:31 PM CST)
...............................................................................................                                 96% Done.
Home copied to new nodes

Saving inventory on nodes (Thursday, August 13, 2015 10:31:55 PM CST)
.                                                               100% Done.
Save inventory complete
WARNING:A new inventory has been created on one or more nodes in this session. However, it has not yet been registered as the central inventory of this system. 
To register the new inventory please run the script at '/u01/app/oraInventory/orainstRoot.sh' with root privileges on nodes '11grac3'.
If you do not register the inventory, you may not be able to update or patch the products you installed.
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.
/u01/app/oraInventory/orainstRoot.sh #On nodes 11grac3
/u01/app/11.2.0/grid/root.sh #On nodes 11grac3
To execute the configuration scripts:
    1. Open a terminal window
    2. Log in as "root"
    3. Run the scripts in each cluster node
    
The Cluster Node Addition of /u01/app/11.2.0/grid was successful.
Please check '/tmp/silentInstall.log' for more details.

使用root用户,在11grac3上执行如下脚本

[root@11grac3 ~]# /u01/app/oraInventory/orainstRoot.sh
Creating the Oracle inventory pointer file (/etc/oraInst.loc)
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@11grac3 ~]# /u01/app/11.2.0/grid/root.sh
Performing root user operation for Oracle 11g 

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
OLR initialization - successful
Adding Clusterware entries to upstart
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node 11grac1, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
clscfg: EXISTING configuration version 5 detected.
clscfg: version 5 is 11g Release 2.
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Configure Oracle Grid Infrastructure for a Cluster ... succeeded


3. 安装Oracle软件

切换到oracle用户

[root@11grac1 ~]# su - oracle
11grac1->

添加节点

11grac1-> cd /u01/app/oracle/product/11.2.0/db_1/oui/bin/
11grac1-> ./addNode.sh -silent "CLUSTER_NEW_NODES"={11grac3}

Performing pre-checks for node addition 

Checking node reachability...
Node reachability check passed from node "11grac1"


Checking user equivalence...
User equivalence check passed for user "oracle"

WARNING: 
Node "11grac3" already appears to be part of cluster

Pre-check for node addition was successful. 
Starting Oracle Universal Installer...

Checking swap space: must be greater than 500 MB.   Actual 5666 MB    Passed
Oracle Universal Installer, Version 11.2.0.3.0 Production
Copyright (C) 1999, 2011, Oracle. All rights reserved.


Performing tests to see whether nodes 11grac2,11grac3 are available
............................................................... 100% Done.

...
-----------------------------------------------------------------------------
Cluster Node Addition Summary
Global Settings
   Source: /u01/app/oracle/product/11.2.0/db_1
   New Nodes
Space Requirements
   New Nodes
      11grac3
         /: Required 4.08GB : Available 10.06GB
Installed Products
   Product Names
      Oracle Database 11g 11.2.0.3.0 
      Sun JDK 1.5.0.30.03 
      Installer SDK Component 11.2.0.3.0 
      Oracle One-Off Patch Installer 11.2.0.1.7 
      Oracle Universal Installer 11.2.0.3.0 
      Oracle USM Deconfiguration 11.2.0.3.0 
      Oracle Configuration Manager Deconfiguration 10.3.1.0.0 
      Oracle DBCA Deconfiguration 11.2.0.3.0 
      Oracle RAC Deconfiguration 11.2.0.3.0 
      Oracle Database Deconfiguration 11.2.0.3.0 
      Oracle Configuration Manager Client 10.3.2.1.0 
      Oracle Configuration Manager 10.3.5.0.1 
      Oracle ODBC Driverfor Instant Client 11.2.0.3.0 
      LDAP Required Support Files 11.2.0.3.0 
      SSL Required Support Files for InstantClient 11.2.0.3.0 
      Bali Share 1.1.18.0.0 
      Oracle Extended Windowing Toolkit 3.4.47.0.0 
      Oracle JFC Extended Windowing Toolkit 4.2.36.0.0 
      Oracle Real Application Testing 11.2.0.3.0 
      Oracle Database Vault J2EE Application 11.2.0.3.0 
      Oracle Label Security 11.2.0.3.0 
      Oracle Data Mining RDBMS Files 11.2.0.3.0 
      Oracle OLAP RDBMS Files 11.2.0.3.0 
      Oracle OLAP API 11.2.0.3.0 
      Platform Required Support Files 11.2.0.3.0 
      Oracle Database Vault option 11.2.0.3.0 
      Oracle RAC Required Support Files-HAS 11.2.0.3.0 
      SQL*Plus Required Support Files 11.2.0.3.0 
      Oracle Display Fonts 9.0.2.0.0 
      Oracle Ice Browser 5.2.3.6.0 
      Oracle JDBC Server Support Package 11.2.0.3.0 
      Oracle SQL Developer 11.2.0.3.0 
      Oracle Application Express 11.2.0.3.0 
      XDK Required Support Files 11.2.0.3.0 
      RDBMS Required Support Files for Instant Client 11.2.0.3.0 
      SQLJ Runtime 11.2.0.3.0 
      Database Workspace Manager 11.2.0.3.0 
      RDBMS Required Support Files Runtime 11.2.0.3.0 
      Oracle Globalization Support 11.2.0.3.0 
      Exadata Storage Server 11.2.0.1.0 
      Provisioning Advisor Framework 10.2.0.4.3 
      Enterprise Manager Database Plugin -- Repository Support 11.2.0.3.0 
      Enterprise Manager Repository Core Files 10.2.0.4.4 
      Enterprise Manager Database Plugin -- Agent Support 11.2.0.3.0 
      Enterprise Manager Grid Control Core Files 10.2.0.4.4 
      Enterprise Manager Common Core Files 10.2.0.4.4 
      Enterprise Manager Agent Core Files 10.2.0.4.4 
      RDBMS Required Support Files 11.2.0.3.0 
      regexp 2.1.9.0.0 
      Agent Required Support Files 10.2.0.4.3 
      Oracle 11g Warehouse Builder Required Files 11.2.0.3.0 
      Oracle Notification Service (eONS) 11.2.0.3.0 
      Oracle Text Required Support Files 11.2.0.3.0 
      Parser Generator Required Support Files 11.2.0.3.0 
      Oracle Database 11g Multimedia Files 11.2.0.3.0 
      Oracle Multimedia Java Advanced Imaging 11.2.0.3.0 
      Oracle Multimedia Annotator 11.2.0.3.0 
      Oracle JDBC/OCI Instant Client 11.2.0.3.0 
      Oracle Multimedia Locator RDBMS Files 11.2.0.3.0 
      Precompiler Required Support Files 11.2.0.3.0 
      Oracle Core Required Support Files 11.2.0.3.0 
      Sample Schema Data 11.2.0.3.0 
      Oracle Starter Database 11.2.0.3.0 
      Oracle Message Gateway Common Files 11.2.0.3.0 
      Oracle XML Query 11.2.0.3.0 
      XML Parser for Oracle JVM 11.2.0.3.0 
      Oracle Help For Java 4.2.9.0.0 
      Installation Plugin Files 11.2.0.3.0 
      Enterprise Manager Common Files 10.2.0.4.3 
      Expat libraries 2.0.1.0.1 
      Deinstallation Tool 11.2.0.3.0 
      Oracle Quality of Service Management (Client) 11.2.0.3.0 
      Perl Modules 5.10.0.0.1 
      JAccelerator (COMPANION) 11.2.0.3.0 
      Oracle Containers for Java 11.2.0.3.0 
      Perl Interpreter 5.10.0.0.2 
      Oracle Net Required Support Files 11.2.0.3.0 
      Secure Socket Layer 11.2.0.3.0 
      Oracle Universal Connection Pool 11.2.0.3.0 
      Oracle JDBC/THIN Interfaces 11.2.0.3.0 
      Oracle Multimedia Client Option 11.2.0.3.0 
      Oracle Java Client 11.2.0.3.0 
      Character Set Migration Utility 11.2.0.3.0 
      Oracle Code Editor 1.2.1.0.0I 
      PL/SQL Embedded Gateway 11.2.0.3.0 
      OLAP SQL Scripts 11.2.0.3.0 
      Database SQL Scripts 11.2.0.3.0 
      Oracle Locale Builder 11.2.0.3.0 
      Oracle Globalization Support 11.2.0.3.0 
      SQL*Plus Files for Instant Client 11.2.0.3.0 
      Required Support Files 11.2.0.3.0 
      Oracle Database User Interface 2.2.13.0.0 
      Oracle ODBC Driver 11.2.0.3.0 
      Oracle Notification Service 11.2.0.3.0 
      XML Parser for Java 11.2.0.3.0 
      Oracle Security Developer Tools 11.2.0.3.0 
      Oracle Wallet Manager 11.2.0.3.0 
      Cluster Verification Utility Common Files 11.2.0.3.0 
      Oracle Clusterware RDBMS Files 11.2.0.3.0 
      Oracle UIX 2.2.24.6.0 
      Enterprise Manager plugin Common Files 11.2.0.3.0 
      HAS Common Files 11.2.0.3.0 
      Precompiler Common Files 11.2.0.3.0 
      Installation Common Files 11.2.0.3.0 
      Oracle Help for the  Web 2.0.14.0.0 
      Oracle LDAP administration 11.2.0.3.0 
      Buildtools Common Files 11.2.0.3.0 
      Assistant Common Files 11.2.0.3.0 
      Oracle Recovery Manager 11.2.0.3.0 
      PL/SQL 11.2.0.3.0 
      Generic Connectivity Common Files 11.2.0.3.0 
      Oracle Database Gateway for ODBC 11.2.0.3.0 
      Oracle Programmer 11.2.0.3.0 
      Oracle Database Utilities 11.2.0.3.0 
      Enterprise Manager Agent 10.2.0.4.3 
      SQL*Plus 11.2.0.3.0 
      Oracle Netca Client 11.2.0.3.0 
      Oracle Multimedia Locator 11.2.0.3.0 
      Oracle Call Interface (OCI) 11.2.0.3.0 
      Oracle Multimedia 11.2.0.3.0 
      Oracle Net 11.2.0.3.0 
      Oracle XML Development Kit 11.2.0.3.0 
      Database Configuration and Upgrade Assistants 11.2.0.3.0 
      Oracle JVM 11.2.0.3.0 
      Oracle Advanced Security 11.2.0.3.0 
      Oracle Internet Directory Client 11.2.0.3.0 
      Oracle Enterprise Manager Console DB 11.2.0.3.0 
      HAS Files for DB 11.2.0.3.0 
      Oracle Net Listener 11.2.0.3.0 
      Oracle Text 11.2.0.3.0 
      Oracle Net Services 11.2.0.3.0 
      Oracle Database 11g 11.2.0.3.0 
      Oracle OLAP 11.2.0.3.0 
      Oracle Spatial 11.2.0.3.0 
      Oracle Partitioning 11.2.0.3.0 
      Enterprise Edition Options 11.2.0.3.0 
-----------------------------------------------------------------------------


Instantiating scripts for add node (Thursday, August 13, 2015 10:59:56 PM CST)
.                                                                 1% Done.
Instantiation of add node scripts complete

Copying to remote nodes (Thursday, August 13, 2015 11:00:03 PM CST)
...............................................................................................                                 96% Done.
Home copied to new nodes

Saving inventory on nodes (Thursday, August 13, 2015 11:06:45 PM CST)
.                                                               100% Done.
Save inventory complete
WARNING:
The following configuration scripts need to be executed as the "root" user in each new cluster node. Each script in the list below is followed by a list of nodes.
/u01/app/oracle/product/11.2.0/db_1/root.sh #On nodes 11grac3
To execute the configuration scripts:
    1. Open a terminal window
    2. Log in as "root"
    3. Run the scripts in each cluster node
    
The Cluster Node Addition of /u01/app/oracle/product/11.2.0/db_1 was successful.
Please check '/tmp/silentInstall.log' for more details.

使用root用户,在11grac3 上执行如下

[root@11grac3 ~]# /u01/app/oracle/product/11.2.0/db_1/root.sh
Performing root user operation for Oracle 11g 

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /u01/app/oracle/product/11.2.0/db_1

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The contents of "dbhome" have not changed. No need to overwrite.
The contents of "oraenv" have not changed. No need to overwrite.
The contents of "coraenv" have not changed. No need to overwrite.

Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Finished product-specific root actions.


4. 创建实例

两种方式,

静默安装:在非11grac3节点上,使用oracle用户

dbca -silent -addInstance -nodeList 11grac3 -gdbName devdb -instanceName devdb3 -sysDBAUserName sys -sysDBAPassword Ora600oracle

图形化安装:在非11grac3节点上,使用oracle用户,调用dbca

wKiom1XNyF3ya9nZAAEJpo11lDM350.jpg

wKiom1XNyGuj7BoGAADNRtEqV_M042.jpg

wKioL1XNyn-SgMIPAABUetoZ6ZQ459.jpg


wKioL1XNypCAcVHXAADsL6gmHrU989.jpg


wKiom1XNyJeC9KI6AACOZ9nXXFY140.jpg

wKioL1XNyqiQr8J2AACPx92iNBg366.jpg

wKiom1XNyLDA9_E2AAJPuOkvTTI005.jpg

点击Finish,开始安装实例

你可能感兴趣的:(RAC,添加节点,addnodes)