PowerHA SystemMirror 7.1 has many new features.In this article,i just show you how to use clmgr command to manage PowerHA 7.1.

一.Installing PowerHA 7.1

1.Verify following packages on both nodes:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#lslpp -L rsct.basic.rte rsct.compat.basic.hacmp rsct.compat.clients.hacmp bos.adt.lib bos.adt.libm bos.adt.syscalls bos.ahafs bos.clvm.enh bos.cluster bos.data bos.net.tcp.client bos.net.tcp.server bos.rte.SRC bos.rte.libc bos.rte.libcfg bos.rte.libcur bos.rte.libpthreads bos.rte.lvm bos.rte.odm cas.agent 
    2.

2.Edit /etc/hosts file:

   
   
   
   
    
    
    
    
    
  1. #For Persistent 
    2. 
    
    
    
    
  2. 192.168.0.129   dbserv1-pers 
    3. 
    
    
    
    
  3. 192.168.0.130   dbserv2-pers 
    4. 
    
    
    
    
  4. #For Boot IP 
    5. 
    
    
    
    
  5. 192.168.1.130   dbserv2-boot 
    6. 
    
    
    
    
  6. 192.168.1.129   dbserv1-boot 
    7. 
    
    
    
    
  7. #For Node 
    8. 
    
    
    
    
  8. 10.20.144.129   dbserv1 
    9. 
    
    
    
    
  9. 10.20.144.130   dbserv2 
    10. 
    
    
    
    
  10. #For Service 
    11. 
    
    
    
    
  11. 10.20.144.251   oracle 
    12. 
    
    
    
    
  12. 10.20.144.252   db2 
    13.

3.Installing PowerHA 7.1 file sets on both nodes:

   
   
   
   
    
    
    
    
    
  1. [root@dbserv1 /]#loopmount -i PowerHA_v7.1.iso -o "-V cdrfs -o ro" -m /mnt  
    2. 
    
    
    
    
  2. [root@dbserv1 /]#installp -aXYg -d /mnt all  
    3.

4.Adding boot and persistent ip to /etc/cluster/rhosts file on both nodes:

In PowerHA 7.1,the /usr/es/sbin/cluster/etc/rhosts file replaced by /etc/cluster/rhosts file.

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#cat /etc/cluster/rhosts 
    2. 
    
    
    
    
  2. 192.168.1.130 
    3. 
    
    
    
    
  3. 192.168.1.129 
    4. 
    
    
    
    
  4. 192.168.0.129 
    5. 
    
    
    
    
  5. 192.168.0.130 
    6. 
    
    
    
    
  6. 10.20.144.129 
    7. 
    
    
    
    
  7. 10.20.144.130 
    8.

5.Creating share volume group:

   
   
   
   
    
    
    
    
    
  1. //on dbserv1 do following steps 
    2. 
    
    
    
    
  2. [root@dbserv1 /]#mkvg -V 48 -y datavg hdisk2   
    3. 
    
    
    
    
  3. 0516-1254 mkvg: Changing the PVID in the ODM.    
    4. 
    
    
    
    
  4. datavg  
    5. 
    
    
    
    
  5. [root@dbserv1 /]#mklv -y lv02 -t jfs2 datavg 10G   
    6. 
    
    
    
    
  6. lv02   
    7. 
    
    
    
    
  7. [root@dbserv1 /]#crfs -v jfs2 -d /dev/lv02 –m /oradata 
    8. 
    
    
    
    
  8. [root@dbserv1 /]#chvg -c datavg            //change the datavg to Enhanced Concurrent Capable volume group when you create  volume group by mkvg don't with -c option. 
    9. 
    
    
    
    
  9. [root@dbserv1 /]#chvg -an datavg  
    10. 
    
    
    
    
  10. [root@dbserv1 /]#varyoffvg datavg  
    11. 
    
    
    
    
  11. [root@dbserv1 /]#exportvg datavg 
    12. 
    
    
    
    
  12. //On dbserv2 import datavg volume group  
    13. 
    
    
    
    
  13. [root@dbserv2 /]#importvg -V 48 -y datavg hdisk2   
    14. 
    
    
    
    
  14. datavg 
    15.

6.Verifying the installed PowerHA filesets consistency on both nodes:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#lppchk -v 
    2. 
    
    
    
    
  2. [dbserv1@root]#lppchk -c cluster* 
    3.

二.Creating a cluster:

1.Create a cluster:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr add cluster MySysMirror nodes=dbserv1,dbserv2 repositories=hdisk4 
    2. 
    
    
    
    
  2. Cluster Name: MySysMirror 
    3. 
    
    
    
    
  3. Cluster Connection Authentication Mode: Standard 
    4. 
    
    
    
    
  4. Cluster Message Authentication Mode: None 
    5. 
    
    
    
    
  5. Cluster Message Encryption: None 
    6. 
    
    
    
    
  6. Use Persistent Labels for Communication: No 
    7. 
    
    
    
    
  7. Repository Disk: None 
    8. 
    
    
    
    
  8. Cluster IP Address:  
    9. 
    
    
    
    
  9. There are 2 node(s) and 2 network(s) defined 
    10. 
    
    
    
    
  10.  
    11. 
    
    
    
    
  11. NODE dbserv1: 
    12. 
    
    
    
    
  12.         Network net_ether_01 
    13. 
    
    
    
    
  13.                 dbserv1 10.20.144.129 
    14. 
    
    
    
    
  14.         Network net_ether_02 
    15. 
    
    
    
    
  15.                 dbserv1-boot    192.168.1.129 
    16. 
    
    
    
    
  16.  
    17. 
    
    
    
    
  17. NODE dbserv2: 
    18. 
    
    
    
    
  18.         Network net_ether_01 
    19. 
    
    
    
    
  19.                 dbserv2 10.20.144.130 
    20. 
    
    
    
    
  20.         Network net_ether_02 
    21. 
    
    
    
    
  21.                 dbserv2-boot    192.168.1.130 
    22. 
    
    
    
    
  22.  
    23. 
    
    
    
    
  23. No resource groups defined 
    24. 
    
    
    
    
  24. Initializing.. 
    25. 
    
    
    
    
  25. Gathering cluster information, which may take a few minutes... 
    26. 
    
    
    
    
  26. Processing... 
    27. 
    
    
    
    
  27. Storing the following information in file 
    28. 
    
    
    
    
  28. /usr/es/sbin/cluster/etc/config/clvg_config 
    29. 
    
    
    
    
  29. ..................
    30. 
    
    
    
    
  30. Cluster Name: MySysMirror 
    31. 
    
    
    
    
  31. Cluster Connection Authentication Mode: Standard 
    32. 
    
    
    
    
  32. Cluster Message Authentication Mode: None 
    33. 
    
    
    
    
  33. Cluster Message Encryption: None 
    34. 
    
    
    
    
  34. Use Persistent Labels for Communication: No 
    35. 
    
    
    
    
  35. Repository Disk: hdisk4 
    36. 
    
    
    
    
  36. Cluster IP Address:  
    37. 
    
    
    
    
  37. There are 2 node(s) and 2 network(s) defined 
    38. 
    
    
    
    
  38.  
    39. 
    
    
    
    
  39. NODE dbserv1: 
    40. 
    
    
    
    
  40.         Network net_ether_01 
    41. 
    
    
    
    
  41.                 dbserv1 10.20.144.129 
    42. 
    
    
    
    
  42.         Network net_ether_02 
    43. 
    
    
    
    
  43.                 dbserv1-boot    192.168.1.129 
    44. 
    
    
    
    
  44.  
    45. 
    
    
    
    
  45. NODE dbserv2: 
    46. 
    
    
    
    
  46.         Network net_ether_01 
    47. 
    
    
    
    
  47.                 dbserv2 10.20.144.130 
    48. 
    
    
    
    
  48.         Network net_ether_02 
    49. 
    
    
    
    
  49.                 dbserv2-boot    192.168.1.130 
    50. 
    
    
    
    
  50.  
    51. 
    
    
    
    
  51. No resource groups defined 
    52. 
    
    
    
    
  52.  
    53. 
    
    
    
    
  53. Warning: There is no cluster found. 
    54. 
    
    
    
    
  54. cllsclstr: No cluster defined. 
    55. 
    
    
    
    
  55. cllsclstr: Error reading configuration. 
    56. 
    
    
    
    
  56. Communication path dbserv1 discovered a new node. Hostname is dbserv1. Adding it to the configuration with Nodename dbserv1. 
    57. 
    
    
    
    
  57. Communication path dbserv2 discovered a new node. Hostname is dbserv2. Adding it to the configuration with Nodename dbserv2. 
    58. 
    
    
    
    
  58. Discovering IP Network Connectivity 
    59. 
    
    
    
    
  59.  
    60. 
    
    
    
    
  60. Retrieving data from available cluster nodes.  This could take a few minutes. 
    61. 
    
    
    
    
  61.  
    62. 
    
    
    
    
  62.         Start data collection on node dbserv1 
    63. 
    
    
    
    
  63.         Start data collection on node dbserv2 
    64. 
    
    
    
    
  64.         Collector on node dbserv2 completed 
    65. 
    
    
    
    
  65.         Collector on node dbserv1 completed 
    66. 
    
    
    
    
  66.         Data collection complete 
    67. 
    
    
    
    
  67.         Completed 10 percent of the verification checks 
    68. 
    
    
    
    
  68.         Completed 20 percent of the verification checks 
    69. 
    
    
    
    
  69.         Completed 30 percent of the verification checks 
    70. 
    
    
    
    
  70.         Completed 40 percent of the verification checks 
    71. 
    
    
    
    
  71.         Completed 50 percent of the verification checks 
    72. 
    
    
    
    
  72.         Completed 60 percent of the verification checks 
    73. 
    
    
    
    
  73.         Completed 70 percent of the verification checks 
    74. 
    
    
    
    
  74. Discovered [6] interfaces 
    75. 
    
    
    
    
  75.         Completed 80 percent of the verification checks 
    76. 
    
    
    
    
  76.         Completed 90 percent of the verification checks 
    77. 
    
    
    
    
  77.         Completed 100 percent of the verification checks 
    78. 
    
    
    
    
  78. IP Network Discovery completed normally 
    79.

The cluster name is MySysMirror and the disk hdisk4 as a repositories disk.The repositories disk is a new feature in PowerHA 7.1.

2.Adding Service IP:

Here i just use one ip for oracle database,it called oracle.

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr add service_ip oracle NETWORK=net_ether_01 NETMASK=255.255.255.0 
    2.

3.Adding persistent IP:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr add persistent_ip dbserv1-pers NETWORK=net_ether_02 NODE=dbserv1 
    2. 
    
    
    
    
  2. [dbserv1@root]#clmgr add persistent_ip dbserv2-pers NETWORK=net_ether_02 NODE=dbserv2 
    3.

4.Adding application_controller:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr add application_controller oradb STARTSCRIPT="/etc/Smydb" STOPSCRIPT="/etc/Kmydb"  
    2.

5.Adding Resource Group:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr add resource_group oraRG VOLUME_GROUP=datavg NODES=dbserv1,dbserv2 SERVICE_LABEL=oracle APPLICATIONS=oradb  
    2. 
    
    
    
    
  2.  
    3. 
    
    
    
    
  3. Auto Discover/Import of Volume Groups was set to true. 
    4. 
    
    
    
    
  4. Gathering cluster information, which may take a few minutes. 
    5.

6.Syncing cluster:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr sync cluster verify=yes fix=yes 
    2. 
    
    
    
    
  2. Saving existing /var/hacmp/clverify/ver_mping/ver_mping.log to /var/hacmp/clverify/ver_mping/ver_mping.log.bak 
    3. 
    
    
    
    
  3. Verifying clcomd communication, please be patient. 
    4. 
    
    
    
    
  4.  
    5. 
    
    
    
    
  5. Verifying multicast communication with mping. 
    6. 
    
    
    
    
  6.  
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8. Committing any changes, as required, to all available nodes... 
    9. 
    
    
    
    
  9. Adding any necessary PowerHA SystemMirror entries to /etc/inittab and /etc/rc.net for IPAT on node dbserv1. 
    10. 
    
    
    
    
  10. Adding any necessary PowerHA SystemMirror entries to /etc/inittab and /etc/rc.net for IPAT on node dbserv2. 
    11. 
    
    
    
    
  11.  
    12. 
    
    
    
    
  12. Verification has completed normally. 
    13. 
    
    
    
    
  13. ........................... 
    14. 
    
    
    
    
  14. Remember to redo automatic error notification if configuration has changed. 
    15. 
    
    
    
    
  15.  
    16. 
    
    
    
    
  16. Verification has completed normally. 
    17.

7.Starting cluster on both nodes:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr online cluster start_cluster BROADCAST=false CLINFO=true 
    2.

8.Verifying cluster and resource group status:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr -a state query cluster 
    2. 
    
    
    
    
  2. STATE="STABLE" 
    3. 
    
    
    
    
  3. [dbserv2@root]#clmgr -a state query cluster 
    4. 
    
    
    
    
  4. STATE="STABLE" 
    5. 
   
   
   
   

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr -a state,current_node query rg oraRG 
    2. 
    
    
    
    
  2. STATE="ONLINE" 
    3. 
    
    
    
    
  3. CURRENT_NODE="dbserv1" 
    4.

9.Switching resource group to another node:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr move rg oraRG node=dbserv2 
    2. 
    
    
    
    
  2. Attempting to move resource group oraRG to node dbserv2. 
    3. 
    
    
    
    
  3.  
    4. 
    
    
    
    
  4. Waiting for the cluster to process the resource group movement request.... 
    5. 
    
    
    
    
  5.  
    6. 
    
    
    
    
  6. Waiting for the cluster to stabilize......... 
    7. 
    
    
    
    
  7.  
    8. 
    
    
    
    
  8. Resource group movement successful. 
    9. 
    
    
    
    
  9. Resource group oraRG is online on node dbserv2. 
    10. 
    
    
    
    
  10.  
    11. 
    
    
    
    
  11.  
    12. 
    
    
    
    
  12. Cluster Name: MySysMirror  
    13. 
    
    
    
    
  13.  
    14. 
    
    
    
    
  14. Resource Group Name: oraRG 
    15. 
    
    
    
    
  15. Primary instance(s): 
    16. 
    
    
    
    
  16. The following node temporarily has the highest priority for this instance: 
    17. 
    
    
    
    
  17. dbserv2, user-requested rg_move performed on Tue Jul 17 15:23:11 2012 
    18. 
    
    
    
    
  18.  
    19. 
    
    
    
    
  19. Node                         State             
    20. 
    
    
    
    
  20. ---------------------------- ---------------  
    21. 
    
    
    
    
  21. dbserv1                      OFFLINE          
    22. 
    
    
    
    
  22. dbserv2                      ONLINE     
    23.

三.Testing the PowerHA 7.1 cluster

Here i just simulation of a group service failure.This scenario consists of a hot-standby cluster configuration with participating nodes dbserv1 and dbserv2 with only one Ethernet network. Each node has two Ethernet interfaces. I'm going to kill the cthags process in the dbserv2 node that was hosting the resource group.

The resource group current on dbserv2:

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr -a state,current_node query rg oraRG 
    2. 
    
    
    
    
  2. STATE="ONLINE" 
    3. 
    
    
    
    
  3. CURRENT_NODE="dbserv2" 
    4.

When i killed the cthags service on dbserv2 what will be happen?

   
   
   
   
    
    
    
    
    
  1. [dbserv2@root]#ps -ef|grep cthags 
    2. 
    
    
    
    
  2.     root 17629232  2949152   0 15:18:00      -  0:00 /usr/sbin/rsct/bin/hagsd cthags 
    3. 
    
    
    
    
  3. [dbserv2@root]#kill -9 17629232 
    4.

After killed cthags service,the dbserv2 will be halt immediately:

   
   
   
   
    
    
    
    
    
  1. Jul 17 16:26:57 dbserv2 daemon:notice cthags[15728736]: (Recorded using libct_ffdc.a cv 2):::Error ID: 63Y7ej0F5G/E/kK41v1738....................:::Reference ID:  :::Template ID: afa89905:::Details File:  :::Location: RSCT,pgsd.C,1.62.1.23,695                     :::GS_START_ST Group Services daemon started DIAGNOSTIC EXPLANATION HAGS daemon started by SRC. Log file is /var/ct/1rA_5YpzyHuO0ZxZ06xeuB/log/cthags/trace.  
    2. 
    
    
    
    
  2. Jul 17 16:26:57 dbserv2 user:notice PowerHA SystemMirror for AIX: clexit.rc : Unexpected termination of clstrmgrES.   
    3. 
    
    
    
    
  3. Jul 17 16:26:57 dbserv2 user:notice PowerHA SystemMirror for AIX: clexit.rc : Halting system immediately!!!  
    4.

And the resource group oraRG move to dbserv1:

   
   
   
   
    
    
    
    
    
  1. tail -f /var/hacmp/adm/cluster.log 
    2. 
    
    
    
    
  2. Jul 17 16:27:08 dbserv1 user:notice PowerHA SystemMirror for AIX: NOTE: While the sync is going on, volume group can be used  
    3. 
    
    
    
    
  3. Jul 17 16:27:09 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT COMPLETED: rg_move dbserv1 1 ACQUIRE 0  
    4. 
    
    
    
    
  4. Jul 17 16:27:09 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT COMPLETED: rg_move_acquire dbserv1 1 0  
    5. 
    
    
    
    
  5. Jul 17 16:27:09 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT START: rg_move_complete dbserv1 1  
    6. 
    
    
    
    
  6. Jul 17 16:27:09 dbserv1 user:notice PowerHA SystemMirror for AIX: NOTE: While the sync is going on, volume group can be used  
    7. 
    
    
    
    
  7. Jul 17 16:27:10 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT START: start_server oradb  
    8. 
    
    
    
    
  8. Jul 17 16:27:10 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT COMPLETED: start_server oradb 0  
    9. 
    
    
    
    
  9. Jul 17 16:27:10 dbserv1 user:notice PowerHA SystemMirror for AIX: EVENT COMPLETED: rg_move_complete dbserv1 1 0  
    10. 
   
   
   
   

   
   
   
   
    
    
    
    
    
  1. [dbserv1@root]#clmgr -a state,current_node query rg oraRG 
    2. 
    
    
    
    
  2. STATE="ONLINE" 
    3. 
    
    
    
    
  3. CURRENT_NODE="dbserv1" 
    4.

For more information:

1.Using clmgr command to manage PowerHA 7.1

2.IBM PowerHA SystemMirror 7.1 for AIX