ESXi/ESX host disconnects from vCenter Server 60 seconds after connecting (1029919)

Symptoms

• An ESXi/ESX host is successfully added to the vCenter Server inventory but enters a Not Responding or Disconnected state after one minute.
  
  

• You can use the vSphere Client to successfully connect to the ESXi/ESX host directly.
  
  

• In the vpxd.log file, you see entries similar to:
  
  2012-04-02T13:07:49.438+02:00 [02248 info 'Default' opID=66183d64] [VpxLRO] -- BEGIN task-internal-252 -- -- vim.SessionManager.acquireSessionTicket -- 52fa8682-47e0-2566-fb05-6192cb2c22f9(5298e245-ffb6-f7f8-e8a0-dedfbe369255)
  2012-04-02T13:07:49.579+02:00 [02068 info 'Default'] [VpxLRO] -- BEGIN task-internal-253 -- host-94 -- VpxdInvtHostSyncHostLRO.Synchronize --
  2012-04-02T13:07:49.579+02:00 [02068 warning 'Default'] [VpxdInvtHostSyncHostLRO] Connection not alive for host host-94
  2012-04-02T13:07:49.579+02:00 [02068 warning 'Default'] [VpxdInvtHost::FixNotRespondingHost] Returning false since host is already fixed!
  2012-04-02T13:07:49.579+02:00 [02068 warning 'Default'] [VpxdInvtHostSyncHostLRO] Failed to fix not responding host host-94
  2012-04-02T13:07:49.579+02:00 [02068 warning 'Default'] [VpxdInvtHostSyncHostLRO] Connection not alive for host host-94
  2012-04-02T13:07:49.579+02:00 [02068 error 'Default'] [VpxdInvtHostSyncHostLRO] FixNotRespondingHost failed for host host-94, marking host as notResponding
  2012-04-02T13:07:49.579+02:00 [02068 warning 'Default'] [VpxdMoHost] host connection state changed to [NO_RESPONSE] for host-94
  2012-04-02T13:07:49.610+02:00 [02248 info 'Default' opID=66183d64] [VpxLRO] -- FINISH task-internal-252 -- -- vim.SessionManager.acquireSessionTicket -- 52fa8682-47e0-2566-fb05-6192cb2c22f9(5298e245-ffb6-f7f8-e8a0-dedfbe369255)
  2012-04-02T13:07:49.719+02:00 [02068 info 'Default'] [VpxdMoHost::SetComputeCompatibilityDirty] Marked host-94 as dirty.
  
  

Cause

• This issue may occur if heartbeat packets are not received from the host before the one minute timeout period expires. These heartbeat packets are UDP packets sent over port 902.
  
  

• This issue may also occur when the Windows firewall is enabled and the ports are not configured.
  

Resolution

To resolve this issue, check the Windows Firewall on the vCenter Server machine. If ports are not configured, disable the Windows Firewall.

If ports are configured, verify if network traffic is allowed to pass from the ESXi/ESX host to the vCenter Server system, and that it is not blocking UDP port 902.

To perform a basic verification from the guest operating system perspective:  

1. Click Start > Run, type wf.msc, and click OK. The Windows Firewall with Advanced Security Management console appears. 

2. In the left pane, click Inbound Rules. 

3. Right-click the vCenter Server heartbeat rule and click Properties. 

4. In the Properties dialog, click the Advanced tab. 

5. Under Profiles, ensure that the Domain option is selected.

You can use Wireshark to verify if the network allows bi-directional traffic.

Note: VMware does not endorse or recommend any particular third-party utility.

To verify if bi-directional traffic is allowed:  

1. Download Wireshark from http://www.wireshark.org/ and install it on the vCenter Server system. 

2. On ESXi, enable Tech Support Mode. For more information on enabling Tech Support Mode, see:
   
   

   • For ESXi 4.1 and 5.x: Using Tech Support Mode in ESXi 4.1 and ESXi 5.x (1017910)

   • For ESXi 4.0: Tech Support Mode for Emergency Support (1003677)

   
   

    

3. Download the Python script attached to this article (udp_client.py) to the ESXi/ESX system in question. 

4. Edit the udp_client.py script on the ESXi/ESX host with a text editor. Modify the line, "host = '192.168.1.1'" and replace 192.168.1.1 with the IP address of the vCenter Server system. 

5. Start Wireshark on the vCenter Server system.
   
   

   1. In the Filter field, enter ip.src==IP_of_host and udp.port==902. Replace IP_of_host with the IP address of the ESXi/ESX host in question. 

   2. Click Apply. 

   3. From the Capture menu, select Interfaces and click Start next to the NIC used for vCenter Server IP traffic.
      
      

    

6. From the ESXi/ESX host, run this command:
   
   python udp_client.py
   
   The total number of packets sent, the port, and the destination address are displayed.
   
   

7. On the vCenter Server system, watch the Wireshark screen for any packets showing up that match the filter applied. 

8. If no packets are received, this indicates that something is blocking UDP traffic over port 902 from the ESXi/ESX host to the vCenter Server system. Inspect the physical networking environment and any software-based firewall on the vCenter Server system.

Ensure that these ports are open in the firewall between vCenter Server and the ESXi/ESX hosts:

• 902 - UDP & TCP 

• 443 - TCP

For more information, see  TCP and UDP Ports required to access vCenter Server, ESX hosts, and other network components