Ceph client无法连接至集群问题解决

1.问题描述

今天做iptables策略，重启集群中的一台机器后，输入ceph -s发现如下状况：

[root@deploynode ~]# ceph -s
2015-09-10 13:50:57.688516 7f6a6b8cc700  0 monclient(hunting): authenticate timed out after 300
2015-09-10 13:50:57.688553 7f6a6b8cc700  0 librados: client.admin authentication error (110) Connection timed out
Error connecting to cluster: TimedOut

2.问题分析

之前集群运作良好，后来由于添加了iptables相关策略，就无法通过ceph client连接至集群并获取
集群状态。第一反应是相关IP或者端口号是不是被策略禁掉，导致数据包无法正常到达相关进程。通过命令netstat -ntpl 没有发现ceph-mon进程对于的端口号。

3.处理方法

在策略脚本中添加如下内容：

#添加允许访问的IP地址
allowip=(58.220.*.*）

#开放ceph mon端口号6789
$IPT -A INPUT -p tcp --dport 6789 -j ACCEPT

重新执行后执行命令netstat -ntpl

执行ceph-s命令后

-------------------------------------New Added-----------------------------------------------------

后来OSD节点也出了问题，症状体现在osd节点的状态处于up / down 不停变化，到最后只有一个节点up。
但是检查各主机后发现各osd.$i节点都在运行当中，后同样担心是osd进程通信端口被策略影响。后在添加如下
内容：

$IPT -A INPUT -p tcp    -m multiport   --dports 6800:6820  -j ACCEPT

在每个节点上，开放6800-6820的端口，这些端口是给osd进程使用的，后通过ceph osd tree检查osd状态。
俱OK。

转载于:https://my.oschina.net/myspaceNUAA/blog/504870