Dear All,

We have a 11g, 2 node RAC database and we have installed clustered EM DB Control over it.

Today morning i found that the EM was not up and running. When i tried to start it, it showed me the following:

   
   
   
   
    
    
    
    
    
  1. -bash-3.00$ emctl status dbconsole 
    2. 
    
    
    
    
  2. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    3. 
    
    
    
    
  3. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    4. 
    
    
    
    
  4.  
    5. 
    
    
    
    
  5. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    6. 
    
    
    
    
  6.  
    7. 
    
    
    
    
  7. Oracle Enterprise Manager 11g is not running. 
    8. 
    
    
    
    
  8. ------------------------------------------------------------------ 
    9. 
    
    
    
    
  9. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
    10. 
    
    
    
    
  10. -bash-3.00$ 
    11. 
    
    
    
    
  11. -bash-3.00$ 
    12. 
    
    
    
    
  12. -bash-3.00$ 
    13. 
    
    
    
    
  13. -bash-3.00$ emctl start dbconsole 
    14. 
    
    
    
    
  14. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    15. 
    
    
    
    
  15. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    16. 
    
    
    
    
  16.  
    17. 
    
    
    
    
  17. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    18. 
    
    
    
    
  18.  
    19. 
    
    
    
    
  19.  - An instance of Oracle Enterprise Manager 11g Database Control is already running. 
    20. 
    
    
    
    
  20. -bash-3.00$ 
    21. 
    
    
    
    
  21. -bash-3.00$ 
    22. 
    
    
    
    
  22. -bash-3.00$ 
    23. 
    
    
    
    
  23. -bash-3.00$ emctl stop dbconsole 
    24. 
    
    
    
    
  24. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    25. 
    
    
    
    
  25. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    26. 
    
    
    
    
  26.  
    27. 
    
    
    
    
  27. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    28. 
    
    
    
    
  28.  
    29. 
    
    
    
    
  29. Stopping Oracle Enterprise Manager 11g Database Control ... 
    30. 
    
    
    
    
  30.  ...  Stopped. 
    31. 
    
    
    
    
  31. -bash-3.00$ 
    32. 
    
    
    
    
  32. -bash-3.00$ 
    33. 
    
    
    
    
  33. -bash-3.00$ 
    34. 
    
    
    
    
  34. -bash-3.00$ emctl start dbconsole 
    35. 
    
    
    
    
  35. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    36. 
    
    
    
    
  36. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    37. 
    
    
    
    
  37.  
    38. 
    
    
    
    
  38. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    39. 
    
    
    
    
  39.  
    40. 
    
    
    
    
  40. Starting Oracle Enterprise Manager 11g Database Control ............................................................................................. failed. 
    41. 
    
    
    
    
  41. ------------------------------------------------------------------ 
    42. 
    
    
    
    
  42. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
    43. 
    
    
    
    
  43. -bash-3.00$ 
    44. 
    
    
    
    
  44. -bash-3.00$ 
    45. 
    
    
    
    
  45. -bash-3.00$ 
    46. 
    
    
    
    
  46. -bash-3.00$ 
    47. 
    
    
    
    
  47. -bash-3.00$ emctl status dbconsole 
    48. 
    
    
    
    
  48. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    49. 
    
    
    
    
  49. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    50. 
    
    
    
    
  50.  
    51. 
    
    
    
    
  51. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    52. 
    
    
    
    
  52.  
    53. 
    
    
    
    
  53. Oracle Enterprise Manager 11g is not running. 
    54. 
    
    
    
    
  54. ------------------------------------------------------------------ 
    55. 
    
    
    
    
  55. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
    56.

emagent.trc shows following messages:

   
   
   
   
    
    
    
    
    
  1. 2011-01-11 12:47:50,837 Thread-251 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
    2. 
    
    
    
    
  2. 2011-01-11 12:48:20,670 Thread-261 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146) 
    3. 
    
    
    
    
  3. 2011-01-11 12:48:20,670 Thread-261 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
    4. 
    
    
    
    
  4. 2011-01-11 12:48:20,671 Thread-261 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146) 
    5. 
    
    
    
    
  5. 2011-01-11 12:48:20,671 Thread-261 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
    6. 
    
    
    
    
  6. 2011-01-11 12:48:50,679 Thread-267 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146) 
    7. 
    
    
    
    
  7. 2011-01-11 12:48:50,679 Thread-267 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
    8. 
    
    
    
    
  8. 2011-01-11 12:48:50,681 Thread-267 WARN  http: snmehl_connect: connect failed to (rgpdb1.rg.com:1158): Connection refused (error = 146) 
    9. 
    
    
    
    
  9. 2011-01-11 12:48:50,681 Thread-267 ERROR pingManager: nmepm_pingReposURL: Cannot connect to https://rgpdb1.rg.com:1158/em/upload/: retStatus=-32 
    10.

I verified ports and found there was no issue. Then i got the solution from MOS(metalink):

Check the following processes:

   
   
   
   
    
    
    
    
    
  1. /usr/ucb/ps -axuww | grep emagent 
    2. 
    
    
    
    
  2. /usr/ucb/ps -axuww | grep DEMS 
    3.

If the above commands return some running processes, kill them:

   
   
   
   
    
    
    
    
    
  1. -bash-3.00$ kill -9 17676 
    2. 
    
    
    
    
  2. -bash-3.00$ kill -9 6600 
    3.

Then i tried the following commands:

   
   
   
   
    
    
    
    
    
  1. -bash-3.00$ emctl stop dbconsole 
    2. 
    
    
    
    
  2. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    3. 
    
    
    
    
  3. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    4. 
    
    
    
    
  4.  
    5. 
    
    
    
    
  5. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    6. 
    
    
    
    
  6.  
    7. 
    
    
    
    
  7. Stopping Oracle Enterprise Manager 11g Database Control ... 
    8. 
    
    
    
    
  8.  ...  Stopped. 
    9. 
    
    
    
    
  9.  
    10. 
    
    
    
    
  10. -bash-3.00$ emctl start dbconsole 
    11. 
    
    
    
    
  11. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    12. 
    
    
    
    
  12. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    13. 
    
    
    
    
  13.  
    14. 
    
    
    
    
  14. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    15. 
    
    
    
    
  15.  
    16. 
    
    
    
    
  16. Starting Oracle Enterprise Manager 11g Database Control ...... started. 
    17. 
    
    
    
    
  17. ------------------------------------------------------------------ 
    18. 
    
    
    
    
  18. Logs are generated in directory /pdb01/oraprod/db/tech_st/11.1.0/rgpdb1_rgprd1/sysman/log 
    19. 
    
    
    
    
  19.  
    20. 
    
    
    
    
  20. -bash-3.00$ emctl status dbconsole 
    21. 
    
    
    
    
  21. Oracle Enterprise Manager 11g Database Control Release 11.1.0.7.0 
    22. 
    
    
    
    
  22. Copyright (c) 1996, 2008 Oracle Corporation.  All rights reserved. 
    23. 
    
    
    
    
  23.  
    24. 
    
    
    
    
  24. https://rgpdb1.rg.com:1158/em/console/aboutApplication 
    25. 
    
    
    
    
  25.  
    26. 
    
    
    
    
  26. Oracle Enterprise Manager 11g is running. 
    27. 
    
    
    
    
  27. ------------------------------------------------------------------ 
    28.

I logged in and verified, EM was coming up fine.

Hope this helps.