集群监控之 —— ipmi操作指南

这两天，配置了一堆500来个节点的大型集群，被ipmi的问题困扰了一天半，到下午16：40，终于解决了。这里来总结一下：

 

智能平台管理界面（IPMI，Intelligent Platform Management Interface）是管理基于 Intel结构的企业级系统中所使用的外围设备采用的一种工业标准，用户能够利用IPMI监控服务器的物理健康特征，如温度、电压、风扇工作状态、电源状态等。该标准由美国英特尔、惠普（Hewlett-Packard）、NEC、美国戴尔电脑和SuperMicro等公司定制。新的版本是 IPMI2.0（http://www.intel.com/design/servers/ipmi/）。

 

先谈谈使用 ipmi 的先决条件——想要实现对服务器的 ipmi 管理，必须在硬件、OS、管理工具等几个方面都满足：

 

1、服务器硬件本身提供对 ipmi 的支持

目前惠普、戴尔和 NEC 等大多数厂商的服务器都支持 IPMI 2.0，但并不是所有服务器都支持，所以应该先通过产品手册或在 BIOS 中确定服务器是否支持 ipmi，也就是说服务器在主板上要具有 BMC 等嵌入式的管理微控制器。

2、操作系统提供相应的 ipmi 驱动

通过操作系统监控服务器自身的 ipmi 信息时需要系统内核提供相应的支持，linux 系统通过内核对 OpenIPMI（ipmi 驱动）的支持来提供对 ipmi 的系统接口。在使用驱动之前，请先启动该驱动：

service ipmi start

或者启动模块：

modprobe ipmi_msghandler
modprobe ipmi_devintf
modprobe ipmi_si
modprobe ipmi_poweroff
modprobe ipmi_watchdog

 

3、ipmi 管理工具

我们的集群选择的是 Linux 下的命令行方式的 ipmi 平台管理工具 ipmitool。没有的同志可以去“http://ipmitool.sourceforge.net/”下，开源滴......

 

 

ipmitool 命令需要通过相应的interface来访问BMC，在本地获取信息时候采用的是-I open，即为OpenIPMI接口，IPMItool命令包含的接口有open、lan、lanplus。

 

其中open是指的是OpenIPMI与 BMC通信，Lan是通过Ethernet LAN网用IPV4的udp协议与BMC通信。UDP的数据段包含了IPMI request/resoponse消息，消息具有一个IPMI session 头和RMCP 头。

 

IPMI使用Remote Management Control Protocol (RMCP) 版本1支持操作系统关闭（pre-OS和OS-absent），RMCP把把数据发送到UDP的623端口。象lan接口一样，lanplus同样使用 Ethernet LAN 的UDP协议与BMC通信，但是lanplus使用RMCP＋协议（在IPMIV20中描述）来同新，RMCP+允许使用改经的认证方式和数据完整性检查。Open端口用于本地监控系统使用的；Lan/lanplus通过网络进行远程监控。

 

ipmitool本地监控使用命令：ipmitool -I open command，其中-I open表示使用OpenIPMI接口，command有以下项：
a)   raw：发送一个原始的IPMI请求，并且打印回复信息。
b)   lan：配置网络（lan）信道(channel)
c)   chassis ：查看底盘的状态和配置电源
d)   event：向BMC发送一个已定义的事件（event），可用于测试配置的SNMP是否成功
e)   mc：  查看MC（Management Contollor）状态和各种允许的项
f)   sdr：打印传感器仓库中的任何监控项和从传感器读取到的值。
g)   sensor：打印周详的传感器信息。
h)   Fru：打印内建的Field Replaceable Unit (FRU)信息
i)   sel： 打印 System Event Log (SEL)     
j)   pef： 配置 Platform Event Filtering (PEF)，事件过滤平台用于在监控系统发现有event时候，用PEF中的策略进行事件过滤，然后看是否需要报警。
k)   sol/isol：用于配置通过串口的Lan进行监控
l)   user：配置BMC中用户的信息 。
m)  channel：配置Management Controller信道。

ipmitool -I open sensor list命令能够获取传感器中的各种监测值和该值的监测阈值，包括（CPU温度，电压，风扇转速，电源调制模块温度，电源电压等信息）
[root@oss11 chenys]# ipmitool -I open sensor list
CPU1 Temp        | 0.000      | unspecified | ok    | 0.000     | na        | 0.000     | 0.000     | na        | na       
CPU2 Temp        | 0.000      | unspecified | ok    | 0.000     | na        | 0.000     | 0.000     | na        | na       
System Temp      | 39.000     | degrees C  | ok    | 0.000     | 0.000     | 0.000     | 81.000    | 82.000    | 83.000   
CPU1 Vcore       | 1.048      | Volts      | ok    | 0.808     | 0.816     | 0.824     | 1.384     | 1.392     | 1.400    
CPU2 Vcore       | 1.048      | Volts      | ok    | 0.808     | 0.816     | 0.824     | 1.384     | 1.392     | 1.400    
+5V              | 5.040      | Volts      | ok    | 4.280     | 4.320     | 4.360     | 5.240     | 5.280     | 5.320    
+12V             | 11.904     | Volts      | ok    | 10.464    | 10.560    | 10.656    | 13.344    | 13.440    | 13.536   
CPU1DIMM         | 1.544      | Volts      | ok    | 1.320     | 1.328     | 1.336     | 1.656     | 1.664     | 1.672    
CPU2DIMM         | 1.544      | Volts      | ok    | 1.320     | 1.328     | 1.336     | 1.656     | 1.664     | 1.672    
+1.5V            | 1.512      | Volts      | ok    | 1.320     | 1.328     | 1.336     | 1.656     | 1.664     | 1.672    
+3.3V            | 3.240      | Volts      | ok    | 2.880     | 2.904     | 2.928     | 3.648     | 3.672     | 3.696    
+3.3VSB          | 3.336      | Volts      | ok    | 2.880     | 2.904     | 2.928     | 3.648     | 3.672     | 3.696    
VBAT             | 3.336      | Volts      | ok    | 2.880     | 2.904     | 2.928     | 3.648     | 3.672     | 3.696    
Fan1             | 7072.000   | RPM        | ok    | 340.000   | 408.000   | 476.000   | 17204.000 | 17272.000 | 17340.000
Fan2             | 7072.000   | RPM        | ok    | 340.000   | 408.000   | 476.000   | 17204.000 | 17272.000 | 17340.000
Fan3             | na         | RPM        | na    | 340.000   | 408.000   | 476.000   | 17204.000 | 17272.000 | 17340.000
Fan4             | na         | RPM        | na    | 340.000   | 408.000   | 476.000   | 17204.000 | 17272.000 | 17340.000
PS Status        | 0.000      | unspecified | ok    | 0.000     | na        | 0.000     | 0.000     | na        | na   

ipmitool -I open sensor get "CPU1 Temp" 能够获取ID为CPU1 Temp监测值，CPU1 Temp是sensor的ID，服务器不同，ID表示也不同。
[root@oss11 chenys]# ipmitool -I open sensor get "CPU1 Temp"
Locating sensor record...
Sensor ID              : CPU1 Temp (0x1)
 Entity ID             : 7.1
 Sensor Type (Analog)  : Unknown (0xC0)
 Sensor Reading        : 0 (+/- 0) unspecified
 Status                : ok
 Lower Non-Recoverable : 0.000
 Lower Critical        : na
 Lower Non-Critical    : 0.000
 Upper Non-Critical    : 0.000
 Upper Critical        : na
 Upper Non-Recoverable : na
 Assertion Events      :
 Assertions Enabled    : lcr-
 Deassertions Enabled  : lcr-

 

具体的命令自己去查，这里只讲关键的：

 

ipmitool -I open sensor thresh   配置ID值等于id的监测项的各种限制值。

ipmitool -I open chassis status  查看主板状态，其中包括了主板电源信息，主板工作状态等

ipmitool -I open chassis restart_cause  查看上次系统重启的原因

ipmitool -I open chassis policy list  查看支持的底盘电源相关策略。

ipmitool -I open chassis power on 启动底盘，用此命令能够远程开机

ipmitool -I open chassis power off 关闭底盘，用此命令能够远程关机

ipmitool -I open chassis power reset实现硬重启，用此命令能够远程重启

ipmitool -I open mc reset 使BMC重新硬启动

ipmitool -I open mc info 查看BMC硬件信息

ipmitool -I open mc setenables =[on|off]，配置bmc相应的允许/禁止选项。

ipmitool -I open mc getenables 列出BMC任何允许的选项

ipmitool -I open lan print 1 打印现咱channel 1的信息 。这个channel是太重要了，困扰我的问题也出在它身上，下面我们就来详细讲解：

 

远程获取服务器监控信息

远程获取服务器监控信息时，需要系统硬件支持ipmiV1.5和IPMIV2.0。获取信息时，不需要在服务器上安装其他软件，只需要在监控的客户端上安装ipmi工具软件——ipmitool，并需要在相应命令中加入远端服务器的名字或者地址。Ipmitool可以通过LAN远程监控系统，同时BMC中保存有一序列用户名和密码，通过LAN进行远端访问需要用户名和密码。

 

远程获取服务器监控信息时，需要加上远程服务器的地址。使用以下的命令格式：

ipmitool -H 10.6.77.249 -U root -P changeme -I lan command。

其中-H表示后面跟的是服务器的地址，-U表示后面跟着用户名，-P表示后面跟着用户密码，command和本地获取信息相同。

 

那么，怎么设置本地BMC的IP和用户名密码呢：

 

ipmitool -I open lan print 1                           显示BMC通道的信息，如果不知道BMC使用的是哪个通道，请使用下面的命令确认：

ipmitool -I open channel info 1

ipmitool -I open lan set 1 ipsrc static                设置本地BMC地址为静态，才能设置IP

ipmitool -I open lan set 1 ipaddr 10.53.11.113         设置本地BMC的IP地址
 
ipmitool -I open lan set 1 netmask 255.255.255.0       子网掩码，别忘了设

ipmitool -I open lan set 1 defgw ipaddr 10.53.11.254   网关，可设可不设，不过一定要确保监控它的机器位于同一路由

ipmitool user list 1     查看BMC的用户列表

ipmitool user set name 1 username 对BMC的1号用户设置用户名username

ipmitool user set password 1 123456 对BMC的1号用户设置密码123456

 

下面讲讲我今天遇到的问题：

我在被监控端设置好了IPMI地址、子网掩码、用户名、密码等，但是，在监控端却死活连不上，返回下面的信息：

Error: Unable to establish LAN session
Get Device ID command failed

 

搞了半天，才在MAC地址上发现了破绽：

[root@localhost ~]# ipmitool -I open lan print 1
Set in Progress         : Set Complete
Auth Type Support       : NONE MD2 MD5 OEM
Auth Type Enable        : Callback : NONE MD2 MD5 OEM
                        : User     : NONE MD2 MD5 OEM
                        : Operator : NONE MD2 MD5 OEM
                        : Admin    : NONE MD2 MD5 OEM
                        : OEM      :
IP Address Source       : DHCP Address
IP Address              : 10.53.11.61
Subnet Mask             : 255.255.255.0
MAC Address             : 00:30:48:c9:61:60
SNMP Community String   : AMI
IP Header               : TTL=0x00 Flags=0x00 Precedence=0x00 TOS=0x00
BMC ARP Control         : ARP Responses Enabled, Gratuitous ARP Disabled
Gratituous ARP Intrvl   : 0.0 seconds
Default Gateway IP      : 10.53.11.254
Default Gateway MAC     : 00:00:00:00:00:00
Backup Gateway IP       : 0.0.0.0
Backup Gateway MAC      : 00:00:00:00:00:00
802.1q VLAN ID          : Disabled
802.1q VLAN Priority    : 0
RMCP+ Cipher Suites     : 1,2,3,6,7,8,11,12,0
Cipher Suite Priv Max   : aaaaXXaaaXXaaXX
                        :     X=Cipher Suite Unused
                        :     c=CALLBACK
                        :     u=USER
                        :     o=OPERATOR
                        :     a=ADMIN
                        :     O=OEM

所以，得在监控端加入这个MAC地址的arp解析：

arp -s 10.53.11.28 00:30:48:c9:61:60