signmem

osd 故障测试

1. 创建的 volumes 是否可以导出数据

查询当前池

[root@tt-ceph-048146 ~]# ceph osd  lspools
0 rbd,1 volumes,

查询 volumes 池中的卷

[root@tt-ceph-048144 ceph]# rbd -p volumes ls
volume-be34745e-165f-4fc6-86c4-6248173abc00

导出卷

[root@tt-ceph-048144 ceph]# rbd -p volumes export  be34745e-165f-4fc6-86c4-6248173abc00  /tmp/volume-test
2015-08-04 17:07:46.071512 7fcec6ada880 -1 librbd::ImageCtx: error finding header: (2) No such file or directory
rbd: error opening image be34745e-165f-4fc6-86c4-6248173abc00: (2) No such file or directory
[root@tt-ceph-048144 ceph]# rbd -p volumes export volume-be34745e-165f-4fc6-86c4-6248173abc00  /tmp/volume-test

导出的卷只能够用于 ceph 导出, 而不可以令 linux 直接执行读写

[root@tt-ceph-048144 ceph]#  dumpe2fs  /tmp/volume-test
dumpe2fs 1.42.9 (28-Dec-2013)
dumpe2fs: Bad magic number in super-block 当尝试打开 /tmp/volume-test 时
找不到有效的文件系统超级块.

2. vm 进行数据写入时候, 是否会对 mon 节点保持长连接, 是否会对 ceph osd 节点保持长连接

 
   经测试, 当 vm 云盘后, 对应物理机即会产生一常连接到  mon 节点,  只有在 vm 产生数据写时候, 才会与 osd 节点产生对应的 TCP 连接 
  

 
   MON 节点的常连接并不会全部都集中到其中的一台 MON 节点中, 常连接会比较平均地分布到各个 mon 节点中 
  

参考生产环境上的 osd 连接

第一个 mon 节点, 有 13 个常连接
[root@sh-ceph-128212 ~]# for ip in 10.198.128.212; do  ssh $ip  "netstat -nt | grep 6789" | awk '{print $5}' |  grep -E -v '10.198.128.212|10.198.128.213|10.198.128.214|10.198.128.215|10.198.128.216|10.198.128.217|10.198.128.218|10.198.128.219'   ; done
10.198.128.30:47557
10.198.128.35:53771
10.198.128.37:58485
10.198.128.32:33849
10.198.128.38:46272
10.198.128.32:33819
10.198.128.33:40363
10.198.128.31:45110
10.198.128.32:56079
10.198.128.30:59187
10.198.128.32:33836
10.198.128.30:34132
10.198.128.38:46288
 
第二个 mon 节点, 有 7 个常连接
[root@sh-ceph-128212 ~]# for ip in 10.198.128.214; do  ssh $ip  "netstat -nt | grep 6789" | awk '{print $5}' |  grep -E -v '10.198.128.212|10.198.128.213|10.198.128.214|10.198.128.215|10.198.128.216|10.198.128.217|10.198.128.218|10.198.128.219'   ; done
10.198.129.72:44896
10.198.128.38:47764
10.198.128.33:51101
10.198.128.38:56206
10.198.128.32:44929
10.198.128.31:37976
10.198.128.37:56534
 
第三个 mon 节点, 有 12 个常连接
[root@sh-ceph-128212 ~]# for ip in 10.198.128.216; do  ssh $ip  "netstat -nt | grep 6789" | awk '{print $5}' |  grep -E -v '10.198.128.212|10.198.128.213|10.198.128.214|10.198.128.215|10.198.128.216|10.198.128.217|10.198.128.218|10.198.128.219'   ; done
10.198.128.31:37590
10.198.128.32:49009
10.198.128.36:52632
10.198.128.36:52615
10.198.128.30:54464
10.198.128.32:45783
10.198.128.36:46733
10.198.128.35:34866
10.198.128.36:46793
10.198.128.37:54421
10.198.128.33:52135
10.198.128.36:46713

3. 当 vm 进行数据写入时候, 断开一个 mon 节点, 是否会对数据写入造成影响

当前测试 compute 192.168.209.106 mon 192.168.48.144, 192.168.48.146, 192.168.48.148

1.  当前只有 192.168.48.144 节点中出现与客户的常连接
2.  让 compute 节点中的 vm 进行大数据复制 (1gb 左右数据复制), 产生了磁盘 IO
3.  这个时候利用 kill 命令删除 192.168.48.144 的 mon 进程, 并利用 ps 命令进行验证
4.  当 mon 进程被杀死后, 192.168.209.106 与 192.168.48.148 创建了新的 mon 常连接
5.  数据复制没有被影响

mon 进程不会自动恢复, 需要手动对 mon 进行启动

[root@tt-ceph-048144 ceph]# ceph -s
  cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
  health HEALTH_WARN 1 mons down, quorum 1,2 tt-ceph-048146,tt-ceph-048148
monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 14, quorum 1,2 tt-ceph-048146,tt-ceph-048148
    osdmap e245: 30 osds: 30 up, 30 in
    pgmap v1015: 10304 pgs, 2 pools, 4660 MB data, 1183 objects
         46119 MB used, 854 GB / 899 GB avail
         10304 active+clean

重启启动了 mon 服务后, 恢复正常

[root@tt-ceph-048144 ceph]# ceph -s
  cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
  health HEALTH_OK
    monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e246: 30 osds: 30 up, 30 in
     pgmap v1016: 10304 pgs, 2 pools, 4660 MB data, 1183 objects
         46119 MB used, 854 GB / 899 GB avail
         10304 active+clean

4. 当 vm 进行数据写入时候, 断开一个 osd 节点, 是否会对数据写入造成影响

1. 在 vm 写入数据的过程中, 关闭一台 osd 节点
2. 在数据完成后, 验证数据完成性
3. 重启启动 osd 节点,  发现 ceph 集群会自动恢复
4. ceph 集群完整性没有被破坏

在进行数据复制过程中, 把其中一台的 osd 进程全部 kill 掉

[root@tt-ceph-048144 ceph]# ceph osd tree
2015-08-04 14:57:32.063320 7fccf41a9700 0 -- :/1007979 >> 192.168.48.144:6789/0 pipe(0x7fccf00298e0 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7fccf0029b70).fault
# id weight type name up/down reweight
-1 30 root default
-2 5 host tt-ceph-048144
0 1 osd.0 up 1
1 1 osd.1 up 1
2 1 osd.2 up 1
3 1 osd.3 up 1
4 1 osd.4 up 1
-3 5 host tt-ceph-048145
5 1 osd.5 up 1
6 1 osd.6 up 1
7 1 osd.7 up 1
8 1 osd.8 up 1
9 1 osd.9 up 1
-4 5 host tt-ceph-048146
10 1 osd.10 up 1
11 1 osd.11 up 1
12 1 osd.12 up 1
13 1 osd.13 up 1
14 1 osd.14 up 1
-5 5 host tt-ceph-048147
15 1 osd.15 up 1
16 1 osd.16 up 1
17 1 osd.17 up 1
18 1 osd.18 up 1
19 1 osd.19 up 1
-6 5 host tt-ceph-048148
20 1 osd.20 up 1
21 1 osd.21 up 1
22 1 osd.22 up 1
23 1 osd.23 up 1
24 1 osd.24 up 1
-7 5 host tt-ceph-048149
25 1 osd.25 down 1
26 1 osd.26 down 1
27 1 osd.27 down 1
28 1 osd.28 down 1
29 1 osd.29 down 1

检查 ceph 集群, 发现发生故障

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 5176 pgs degraded; 5171 pgs stuck unclean; 5176 pgs undersized; recovery 471/2598 objects degraded (18.129%); 5/30 in osds are down; 1 mons down, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 14, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     osdmap e239: 30 osds: 25 up, 30 in
      pgmap v924: 10304 pgs, 2 pools, 3392 MB data, 866 objects
            42279 MB used, 858 GB / 899 GB avail
            471/2598 objects degraded (18.129%)
                5128 active+clean
                5176 active+undersized+degraded

重新启动 osd, 发现有数据恢复现象

[root@tt-ceph-048144 ceph]# ceph -s
2015-08-04 14:58:26.309245 7f7eb818b700  0 -- :/1008324 >> 192.168.48.144:6789/0 pipe(0x7f7eb40298e0 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7f7eb4029b70).fault
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 3089 pgs degraded; 3085 pgs stuck unclean; 3089 pgs undersized; recovery 325/2835 objects degraded (11.464%); 1 mons down, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 14, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     osdmap e245: 30 osds: 30 up, 30 in
      pgmap v941: 10304 pgs, 2 pools, 3708 MB data, 945 objects
            43958 MB used, 856 GB / 899 GB avail
            325/2835 objects degraded (11.464%)
                7215 active+clean
                3089 active+undersized+degraded
recovery io 12881 kB/s, 3 objects/s
  client io 3969 kB/s wr, 2 op/s

恢复后, 发现, 数据正常了

[root@tt-ceph-048144 ceph]# ceph -s
2015-08-04 14:58:44.340787 7fd72bd78700  0 -- :/1008446 >> 192.168.48.144:6789/0 pipe(0x7fd7300298e0 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7fd730029b70).fault
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 1 mons down, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 14, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     osdmap e245: 30 osds: 30 up, 30 in
      pgmap v952: 10304 pgs, 2 pools, 3925 MB data, 999 objects
            45058 MB used, 855 GB / 899 GB avail
               10304 active+clean
  client io 13701 kB/s rd, 20372 kB/s wr, 119 op/s

重启一下故障的 mon 服务

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 1 mons down, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 14, quorum 1,2 tt-ceph-048146,tt-ceph-048148
     osdmap e245: 30 osds: 30 up, 30 in
      pgmap v1015: 10304 pgs, 2 pools, 4660 MB data, 1183 objects
            46119 MB used, 854 GB / 899 GB avail
               10304 active+clean

第二次测试
数据复制正常

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e248: 30 osds: 30 up, 30 in
      pgmap v1052: 10304 pgs, 2 pools, 4680 MB data, 1188 objects
            46095 MB used, 854 GB / 899 GB avail
               10304 active+clean
  client io 5402 kB/s rd, 3031 kB/s wr, 46 op/s

对其中一台电脑中所有的 osd 执行 kill 操作
查询发现, osd 出现了故障, GP 也出现非正常现象

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 5176 pgs degraded; 5155 pgs stuck unclean; 5176 pgs undersized; recovery 930/4533 objects degraded (20.516%); 5/30 in osds are down
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e250: 30 osds: 25 up, 30 in
      pgmap v1098: 10304 pgs, 2 pools, 5966 MB data, 1511 objects
            52202 MB used, 848 GB / 899 GB avail
            930/4533 objects degraded (20.516%)
                5128 active+clean
                5176 active+undersized+degraded
  client io 16592 kB/s rd, 4918 B/s wr, 134 op/s

在数据复制完成后, 重启启动所有 osd

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 147 pgs degraded; 234 pgs peering; 12 pgs recovering; 29 pgs recovery_wait; 73 pgs stuck unclean; recovery 467/4620 objects degraded (10.108%)
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e257: 30 osds: 28 up, 28 in
      pgmap v1146: 10304 pgs, 2 pools, 6080 MB data, 1540 objects
            51945 MB used, 758 GB / 809 GB avail
            467/4620 objects degraded (10.108%)
                   1 inactive
                 234 peering
                9922 active+clean
                 106 active+degraded
                  29 active+recovery_wait+degraded
                  12 active+recovering+degraded

再次查询, 数据自动恢复中

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 174 pgs degraded; 19 pgs recovering; 76 pgs recovery_wait; 93 pgs stuck unclean; recovery 586/4620 objects degraded (12.684%)
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e261: 30 osds: 30 up, 30 in
      pgmap v1156: 10304 pgs, 2 pools, 6080 MB data, 1540 objects
            53205 MB used, 847 GB / 899 GB avail
            586/4620 objects degraded (12.684%)
                  79 active+degraded
               10130 active+clean
                  76 active+recovery_wait+degraded
                  19 active+recovering+degraded
recovery io 379 MB/s, 97 objects/s
  client io 9401 kB/s wr, 4 op/s

再查询

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e261: 30 osds: 30 up, 30 in
      pgmap v1162: 10304 pgs, 2 pools, 6080 MB data, 1540 objects
            53553 MB used, 847 GB / 899 GB avail
               10304 active+clean
recovery io 52337 kB/s, 12 objects/s

最终, 恢复完成

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 16, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e261: 30 osds: 30 up, 30 in
      pgmap v1170: 10304 pgs, 2 pools, 6080 MB data, 1540 objects
            51335 MB used, 849 GB / 899 GB avail
               10304 active+clean

5. 新增 osd 节点进行扩容

当前集群磁盘状态 ( tt-ceph-048144 ~ tt-ceph-048149)

[root@tt-ceph-048144 ceph]# ceph df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED
    899G      724G         175G         19.50
POOLS:
    NAME        ID     USED       %USED     MAX AVAIL     OBJECTS
    rbd         0           0         0          235G           0
    volumes     1      48041M      5.22          235G       12166

新加入节点, 执行下面操作

1. 主机名同步, 时间同步, 安装 ceph 软件
2. 执行磁盘格式化,  创建 osd , 挂载对应磁盘

参考格式化脚本

#!/bin/bash
LANG=en_US
disk=`fdisk -l | grep ^Disk  | grep sectors | grep sd | grep -v sda | awk -F[:\ ]  '{print $2}' | sort`
yum install -y hdparm
for partition in  $disk
do
  dd if=/dev/zero of=$partition bs=1M count=100
  parted -s $partition mklabel msdos
  parted $partition mkpart primary xfs 1 100%
  hdparm -z "$partition"1
  mkfs.xfs -f -i size=512  "$partition"1
done

参考创建 osd 脚本

#!/bin/bash
LANG=en_US
num=30
diskpart=`fdisk -l  | grep Linux | grep -v sda | awk '{print $1}' | sort`
for partition in $diskpart
do
    ceph osd create
    mkdir /var/lib/ceph/osd/ceph-$num
    echo $partition  /var/lib/ceph/osd/ceph-$num   xfs defaults 0 0 >> /etc/fstab
    let num++
done
mount -a

参考磁盘挂载情况

[root@tt-ceph-048150 tmp]# mount | grep osd
/dev/sdb1 on /var/lib/ceph/osd/ceph-30 type xfs (rw,relatime,attr2,inode64,noquota)
/dev/sdc1 on /var/lib/ceph/osd/ceph-31 type xfs (rw,relatime,attr2,inode64,noquota)
/dev/sdd1 on /var/lib/ceph/osd/ceph-32 type xfs (rw,relatime,attr2,inode64,noquota)
/dev/sde1 on /var/lib/ceph/osd/ceph-33 type xfs (rw,relatime,attr2,inode64,noquota)
/dev/sdf1 on /var/lib/ceph/osd/ceph-34 type xfs (rw,relatime,attr2,inode64,noquota)
/dev/sdg1 on /var/lib/ceph/osd/ceph-35 type xfs (rw,relatime,attr2,inode64,noquota)

参考 osd tree

[root@tt-ceph-048144 ceph]# ceph osd tree
# id    weight  type name       up/down reweight
-1      30      root default
-2      5               host tt-ceph-048144
0       1                       osd.0   up      1
1       1                       osd.1   up      1
2       1                       osd.2   up      1
3       1                       osd.3   up      1
4       1                       osd.4   up      1
-3      5               host tt-ceph-048145
5       1                       osd.5   up      1
6       1                       osd.6   up      1
7       1                       osd.7   up      1
8       1                       osd.8   up      1
9       1                       osd.9   up      1
-4      5               host tt-ceph-048146
10      1                       osd.10  up      1
11      1                       osd.11  up      1
12      1                       osd.12  up      1
13      1                       osd.13  up      1
14      1                       osd.14  up      1
-5      5               host tt-ceph-048147
15      1                       osd.15  up      1
16      1                       osd.16  up      1
17      1                       osd.17  up      1
18      1                       osd.18  up      1
19      1                       osd.19  up      1
-6      5               host tt-ceph-048148
20      1                       osd.20  up      1
21      1                       osd.21  up      1
22      1                       osd.22  up      1
23      1                       osd.23  up      1
24      1                       osd.24  up      1
-7      5               host tt-ceph-048149
25      1                       osd.25  up      1
26      1                       osd.26  up      1
27      1                       osd.27  up      1
28      1                       osd.28  up      1
29      1                       osd.29  up      1
30      0       osd.30  down    0
31      0       osd.31  down    0
32      0       osd.32  down    0
33      0       osd.33  down    0
34      0       osd.34  down    0
35      0       osd.35  down    0

3 初始化 osd

参考初始化脚本

#!/bin/bash
LANG=en_US
num=30
diskpart=`fdisk -l  | grep Linux | grep -v sda | awk '{print $1}' | sort`
for partition in $diskpart
do
   ceph-osd -i $num --mkfs --mkkey --osd-uuid 60391f4d-734f-425d-89b2-1fcb26c876c8
   let num++
done

4 授权 osd

参考授权脚本

#!/bin/bash
LANG=en_US
num=30
diskpart=`fdisk -l  | grep Linux | grep -v sda | awk '{print $1}' | sort`
for partition in $diskpart
do
    ceph auth add osd.$num osd 'allow *' mon 'allow profile osd' -i /var/lib/ceph/osd/ceph-$num/keyring
    let num++
done

5. 修改 crush map

ceph osd crush add-bucket tt-ceph-048150 host
ceph osd crush move tt-ceph-048150 root=defaultfor num in `seq 30 35`
do
ceph osd crush add osd.$num 1.0 root=default host=tt-ceph-048150
done

参考修改后的 osd tree

[root@tt-ceph-048150 tmp]# ceph osd tree
# id    weight  type name       up/down reweight
-1      36      root default
-2      5               host tt-ceph-048144
0       1                       osd.0   up      1
1       1                       osd.1   up      1
2       1                       osd.2   up      1
3       1                       osd.3   up      1
4       1                       osd.4   up      1
-3      5               host tt-ceph-048145
5       1                       osd.5   up      1
6       1                       osd.6   up      1
7       1                       osd.7   up      1
8       1                       osd.8   up      1
9       1                       osd.9   up      1
-4      5               host tt-ceph-048146
10      1                       osd.10  up      1
11      1                       osd.11  up      1
12      1                       osd.12  up      1
13      1                       osd.13  up      1
14      1                       osd.14  up      1
-5      5               host tt-ceph-048147
15      1                       osd.15  up      1
16      1                       osd.16  up      1
17      1                       osd.17  up      1
18      1                       osd.18  up      1
19      1                       osd.19  up      1
-6      5               host tt-ceph-048148
20      1                       osd.20  up      1
21      1                       osd.21  up      1
22      1                       osd.22  up      1
23      1                       osd.23  up      1
24      1                       osd.24  up      1
-7      5               host tt-ceph-048149
25      1                       osd.25  up      1
26      1                       osd.26  up      1
27      1                       osd.27  up      1
28      1                       osd.28  up      1
29      1                       osd.29  up      1
-8      6               host tt-ceph-048150
30      1                       osd.30  down    0
31      1                       osd.31  down    0
32      1                       osd.32  down    0
33      1                       osd.33  down    0
34      1                       osd.34  down    0
35      1                       osd.35  down    0

6. 启动 osd

for num in `seq 30 35`
do
touch /var/lib/ceph/osd/ceph-$num/sysvinit
/etc/init.d/ceph  -a start osd.$num
done

在 osd 启动之后, ceph 集群会自动执行数据迁移及数据平衡

[root@tt-ceph-048144 ceph]# ceph -w
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 1637 pgs degraded; 45 pgs recovering; 1592 pgs recovery_wait; 494 pgs stuck unclean; recovery 9690/36498 objects degraded (26.549%); 1 mons down, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 28, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     osdmap e287: 36 osds: 30 up, 30 in
      pgmap v7407: 10304 pgs, 2 pools, 48041 MB data, 12166 objects
            178 GB used, 720 GB / 899 GB avail
            9690/36498 objects degraded (26.549%)
                8667 active+clean
                1592 active+recovery_wait+degraded
                  45 active+recovering+degraded
recovery io 55052 kB/s, 13 objects/s

再参考

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 850 pgs degraded; 9 pgs peering; 48 pgs recovering; 800 pgs recovery_wait; 1 pgs stuck inactive; 261 pgs stuck unclean; recovery 5158/36498 objects degraded (14.132%)
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 36, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e291: 36 osds: 33 up, 33 in
      pgmap v7412: 10304 pgs, 2 pools, 48041 MB data, 12166 objects
            180 GB used, 718 GB / 899 GB avail
            5158/36498 objects degraded (14.132%)
                   2 active+degraded
                   9 peering
                9445 active+clean
                 800 active+recovery_wait+degraded
                  48 active+recovering+degraded
recovery io 272 MB/s, 69 objects/s

再次参考

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 2236 pgs degraded; 167 pgs peering; 18 pgs recovering; 1793 pgs recovery_wait; 104 pgs stuck inactive; 737 pgs stuck unclean; recovery 11298/36495 objects degraded (30.958%); 1 mons down, quorum 0,2 tt-ceph-048144,tt-ceph-048148
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 50, quorum 0,2 tt-ceph-048144,tt-ceph-048148
     osdmap e297: 36 osds: 35 up, 35 in
      pgmap v7419: 10304 pgs, 2 pools, 48037 MB data, 12165 objects
            181 GB used, 867 GB / 1049 GB avail
            11298/36495 objects degraded (30.958%)
                  73 inactive
                 143 degraded
                 282 active+degraded
                 166 peering
                7828 active+clean
                   1 remapped+peering
                1793 active+recovery_wait+degraded
                  18 active+recovering+degraded
recovery io 11214 kB/s, 2 objects/s

约莫几分钟后, 数据同步完成

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 66, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e302: 36 osds: 36 up, 36 in
      pgmap v7460: 10304 pgs, 2 pools, 48041 MB data, 12166 objects
            187 GB used, 892 GB / 1079 GB avail
               10304 active+clean

参考之前容量

[root@tt-ceph-048144 ceph]# ceph df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED
    899G      724G         175G         19.50
POOLS:
    NAME        ID     USED       %USED     MAX AVAIL     OBJECTS
    rbd         0           0         0          235G           0
    volumes     1      48041M      5.22          235G       12166

参考扩容后容量

[root@tt-ceph-048150 tmp]# ceph df
GLOBAL:
    SIZE      AVAIL     RAW USED     %RAW USED
    1049G      867G         181G         17.34
POOLS:
    NAME        ID     USED       %USED     MAX AVAIL     OBJECTS
    rbd         0           0         0          287G           0
    volumes     1      48037M      4.47          287G       12165

参考新机器的磁盘容量

[root@tt-ceph-048150 /]# df  -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   36G  3.8G   32G  11% /
devtmpfs                 1.9G     0  1.9G   0% /dev
tmpfs                    1.9G     0  1.9G   0% /dev/shm
tmpfs                    1.9G  8.6M  1.9G   1% /run
tmpfs                    1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/sda1                497M   96M  401M  20% /boot
/dev/sdb1                 30G  4.6G   26G  16% /var/lib/ceph/osd/ceph-30
/dev/sdc1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-31
/dev/sdd1                 30G  5.1G   25G  17% /var/lib/ceph/osd/ceph-32
/dev/sde1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-33
/dev/sdf1                 30G  4.7G   26G  16% /var/lib/ceph/osd/ceph-34
/dev/sdg1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-35

参考其他机器磁盘容量

[root@tt-ceph-048144 ceph]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root   36G   12G   25G   32% /
devtmpfs                 1.9G     0  1.9G    0% /dev
tmpfs                    1.9G     0  1.9G    0% /dev/shm
tmpfs                    1.9G  8.7M  1.9G    1% /run
tmpfs                    1.9G     0  1.9G    0% /sys/fs/cgroup
/dev/sdd1                 30G  4.8G   26G   16% /var/lib/ceph/osd/ceph-2
/dev/sdf1                 30G  4.9G   26G   17% /var/lib/ceph/osd/ceph-4
/dev/sdb1                 30G  5.1G   25G   17% /var/lib/ceph/osd/ceph-0
/dev/sde1                 30G  4.9G   26G   17% /var/lib/ceph/osd/ceph-3
/dev/sdc1                 30G  5.5G   25G   19% /var/lib/ceph/osd/ceph-1

6. osd 灾难性破坏与恢复

目标, 破坏一个 osd 对应的所有数据, 尝试恢复集群完整性

当前的 osd 环境正常,

[root@tt-ceph-048150 ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   36G  3.8G   32G  11% /
devtmpfs                 1.9G     0  1.9G   0% /dev
tmpfs                    1.9G     0  1.9G   0% /dev/shm
tmpfs                    1.9G  8.7M  1.9G   1% /run
tmpfs                    1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/sda1                497M   96M  401M  20% /boot
/dev/sdb1                 30G  4.6G   26G  16% /var/lib/ceph/osd/ceph-30
/dev/sdc1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-31
/dev/sdd1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-32
/dev/sde1                 30G  4.9G   26G  17% /var/lib/ceph/osd/ceph-33   <- 计划需要破坏的对象
/dev/sdf1                 30G  4.7G   26G  16% /var/lib/ceph/osd/ceph-34
/dev/sdg1                 30G  5.0G   26G  17% /var/lib/ceph/osd/ceph-35

[root@tt-ceph-048144 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 66, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e302: 36 osds: 36 up, 36 in
      pgmap v7570: 10304 pgs, 2 pools, 48041 MB data, 12166 objects
            178 GB used, 900 GB / 1079 GB avail
               10304 active+clean

破坏 osd 操作

[root@tt-ceph-048150 ~]# kill -9 14088
[root@tt-ceph-048150 ~]# umount /var/lib/ceph/osd/ceph-33

观察当前 osd 环境, 发现已经遭到破坏

[root@tt-ceph-048144 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 805 pgs degraded; 779 pgs stuck unclean; 805 pgs undersized; recovery 1054/38058 objects degraded (2.769%); 1/36 in osds are down
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 66, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e304: 36 osds: 35 up, 36 in
      pgmap v7783: 10304 pgs, 2 pools, 50110 MB data, 12686 objects
            187 GB used, 891 GB / 1079 GB avail
            1054/38058 objects degraded (2.769%)
                9499 active+clean
                 805 active+undersized+degraded
  client io 8794 kB/s rd, 40401 kB/s wr, 90 op/s

[root@tt-ceph-048144 ~]#  ceph osd tree 
-8      6               host tt-ceph-048150
30      1                       osd.30  up      1
31      1                       osd.31  up      1
32      1                       osd.32  up      1
33      1                       osd.33  down    0
34      1                       osd.34  up      1
35      1                       osd.35  up      1

恢复 osd 过程

初始化磁盘

[root@tt-ceph-048150 ~]# dd if=/dev/zero of=/dev/sde1 bs=1M count=20
20+0 records in
20+0 records out
20971520 bytes (21 MB) copied, 0.0192865 s, 1.1 GB/s
[root@tt-ceph-048150 ~]# mkfs.xfs /dev/sde1
meta-data=/dev/sde1              isize=256    agcount=4, agsize=1966016 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0
data     =                       bsize=4096   blocks=7864064, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=3839, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
 
[root@tt-ceph-048150 ~]# mount /dev/sde1 /var/lib/ceph/osd/ceph-33

初始化 osd

[root@tt-ceph-048150 ~]#  ceph-osd -i 33 --mkfs --mkkey --osd-uuid 60391f4d-734f-425d-89b2-1fcb26c876c8
[root@tt-ceph-048150 ~]# ls /var/lib/ceph/osd/ceph-33/
ceph_fsid current fsid journal keyring magic ready store_version superblock whoami

授权会在初始化时候自动完成检查授权 key 是否正确

[root@tt-ceph-048144 ~]# ceph auth list
osd.33
    key: AQBC1sFVSGx/JhAASmGkmXgJKXt7yiHaNPNlHQ==
    caps: [mon] allow profile osd
    caps: [osd] allow *

检查 osd 初始化后的 keyring

[root@tt-ceph-048150 ~]# cat /var/lib/ceph/osd/ceph-33/keyring
[osd.33]
key = AQDPD8NVMMQLNxAAPtYAXbqycCekTVwvavuUSA==

注意: 加入 key 不对, 则需要手动修改, 否则会遇到下面的报错

[root@tt-ceph-048150 ~]# /etc/init.d/ceph start osd.33
=== osd.33 ===
Error connecting to cluster: PermissionError
2015-08-06 15:48:32.869373 7fa4cee30700 0 librados: osd.33 authentication error (1) Operation not permitted
failed: 'timeout 30 /usr/bin/ceph -c /etc/ceph/ceph.conf --name=osd.33 --keyring=/var/lib/ceph/osd/ceph-33/keyring osd crush create-or-move -- 33 0.03 host=tt-ceph-048150 root=default'

启动 osd

[root@tt-ceph-048150 ~]# touch /var/lib/ceph/osd/ceph-33/sysvinit
[root@tt-ceph-048150 ~]# /etc/init.d/ceph  start osd.33
=== osd.33 ===
create-or-move updated item name 'osd.33' weight 0.03 at location {host=tt-ceph-048150,root=default} to crush map
Starting Ceph osd.33 on tt-ceph-048150...
Running as unit run-19821.service.

参考 ceph 集群监控

[root@tt-ceph-048144 ~]# ceph osd tree
-8      6               host tt-ceph-048150
30      1                       osd.30  up      1
31      1                       osd.31  up      1
32      1                       osd.32  up      1
33      1                       osd.33  up      1
34      1                       osd.34  up      1
35      1                       osd.35  up      1

osd 启动后, 数据自动执行恢复

[root@tt-ceph-048150 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 36 pgs degraded; 3 pgs recovering; 36 pgs stuck unclean; recovery 261/45192 objects degraded (0.578%)
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 72, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e308: 36 osds: 36 up, 36 in
      pgmap v8838: 10304 pgs, 2 pools, 59531 MB data, 15064 objects
            215 GB used, 863 GB / 1079 GB avail
            261/45192 objects degraded (0.578%)
                  33 active+degraded
               10268 active+clean
                   3 active+recovering+degraded
recovery io 191 MB/s, 48 objects/s

数据很快就恢复完成

[root@tt-ceph-048150 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 72, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e308: 36 osds: 36 up, 36 in
      pgmap v8856: 10304 pgs, 2 pools, 59531 MB data, 15064 objects
            215 GB used, 863 GB / 1079 GB avail
               10304 active+clean

7. 停电故障模拟

两个节点停电故障模拟

在集群环境正常状态, 为两个节点作停电处理

[root@tt-ceph-048144 /]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 76, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e400: 36 osds: 36 up, 36 in
      pgmap v10445: 10304 pgs, 2 pools, 59531 MB data, 15064 objects
            212 GB used, 867 GB / 1079 GB avail
               10304 active+clean
  client io 29033 kB/s rd, 6084 B/s wr, 236 op/s

停电时, 涉及 1 个 mon 节点, 11 个 osd 节点

[root@tt-ceph-048144 /]# ceph osd tree
# id    weight  type name       up/down reweight
-1      36      root default
-2      5               host tt-ceph-048144
0       1                       osd.0   up      1
1       1                       osd.1   up      1
2       1                       osd.2   up      1
3       1                       osd.3   up      1
4       1                       osd.4   up      1
-3      5               host tt-ceph-048145
5       1                       osd.5   up      1
6       1                       osd.6   up      1
7       1                       osd.7   up      1
8       1                       osd.8   up      1
9       1                       osd.9   up      1
-4      5               host tt-ceph-048146
10      1                       osd.10  up      1
11      1                       osd.11  up      1
12      1                       osd.12  up      1
13      1                       osd.13  up      1
14      1                       osd.14  up      1
-5      5               host tt-ceph-048147
15      1                       osd.15  up      1
16      1                       osd.16  up      1
17      1                       osd.17  up      1
18      1                       osd.18  up      1
19      1                       osd.19  up      1
-6      5               host tt-ceph-048148
20      1                       osd.20  down    1
21      1                       osd.21  down    1
22      1                       osd.22  down    1
23      1                       osd.23  down    1
24      1                       osd.24  down    1
-7      5               host tt-ceph-048149
25      1                       osd.25  up      1
26      1                       osd.26  up      1
27      1                       osd.27  up      1
28      1                       osd.28  up      1
29      1                       osd.29  up      1
-8      6               host tt-ceph-048150
30      1                       osd.30  down    1
31      1                       osd.31  down    1
32      1                       osd.32  down    1
33      1                       osd.33  down    1
34      1                       osd.34  down    1
35      1                       osd.35  down    1

参见停电后的集群状态

[root@tt-ceph-048144 /]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 7614 pgs degraded; 7470 pgs stuck unclean; 7614 pgs undersized; recovery 13695/45744 objects degraded (29.938%); 11/36 in osds are down; 1 mons down, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 78, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     osdmap e404: 36 osds: 25 up, 36 in
      pgmap v10492: 10304 pgs, 2 pools, 60265 MB data, 15248 objects
            216 GB used, 863 GB / 1079 GB avail
            13695/45744 objects degraded (29.938%)
                7614 active+undersized+degraded
                2690 active+clean
  client io 11370 kB/s rd, 4902 kB/s wr, 95 op/s

重新启动主机, 并重新启动 mon , osd 服务

再次参考 ceph 集群状态

[root@tt-ceph-048150 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 4304 pgs degraded; 4247 pgs stuck unclean; 4304 pgs undersized; recovery 6765/47271 objects degraded (14.311%); 5/36 in osds are down
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 80, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e413: 36 osds: 31 up, 36 in
      pgmap v10584: 10304 pgs, 2 pools, 62283 MB data, 15757 objects
            223 GB used, 855 GB / 1079 GB avail
            6765/47271 objects degraded (14.311%)
                4304 active+undersized+degraded
                6000 active+clean
  client io 19230 kB/s rd, 155 op/s

[root@tt-ceph-048150 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 281 pgs stale
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 80, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e422: 36 osds: 36 up, 36 in
      pgmap v10614: 10304 pgs, 2 pools, 62634 MB data, 15846 objects
            227 GB used, 852 GB / 1079 GB avail
                 281 stale+active+clean
               10023 active+clean
  client io 2283 kB/s rd, 11928 B/s wr, 20 op/s

故障自动修复, 数据复制没有被中断

[root@tt-ceph-048150 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 80, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e422: 36 osds: 36 up, 36 in
      pgmap v10621: 10304 pgs, 2 pools, 62766 MB data, 15879 objects
            227 GB used, 851 GB / 1079 GB avail
               10304 active+clean
  client io 12088 kB/s rd, 4543 kB/s wr, 101 op/s

三节点停电测试

[root@tt-ceph-048144 /]# ceph osd tree
^[[A# id        weight  type name       up/down reweight
-1      36      root default
-2      5               host tt-ceph-048144
0       1                       osd.0   up      1
1       1                       osd.1   up      1
2       1                       osd.2   up      1
3       1                       osd.3   up      1
4       1                       osd.4   up      1
-3      5               host tt-ceph-048145
5       1                       osd.5   up      1
6       1                       osd.6   up      1
7       1                       osd.7   up      1
8       1                       osd.8   up      1
9       1                       osd.9   up      1
-4      5               host tt-ceph-048146
10      1                       osd.10  up      1
11      1                       osd.11  up      1
12      1                       osd.12  up      1
13      1                       osd.13  up      1
14      1                       osd.14  up      1
-5      5               host tt-ceph-048147
15      1                       osd.15  down    1
16      1                       osd.16  down    1
17      1                       osd.17  down    1
18      1                       osd.18  down    1
19      1                       osd.19  down    1
-6      5               host tt-ceph-048148
20      1                       osd.20  down    1
21      1                       osd.21  down    1
22      1                       osd.22  down    1
23      1                       osd.23  down    1
24      1                       osd.24  down    1
-7      5               host tt-ceph-048149
25      1                       osd.25  up      1
26      1                       osd.26  up      1
27      1                       osd.27  up      1
28      1                       osd.28  up      1
29      1                       osd.29  up      1
-8      6               host tt-ceph-048150
30      1                       osd.30  down    1
31      1                       osd.31  down    1
32      1                       osd.32  down    1
33      1                       osd.33  down    1
34      1                       osd.34  down    1
35      1                       osd.35  down    1

参考停电期间的状态 (关闭 1 MON 节点, 16 OSD 节点)

[root@tt-ceph-048144 /]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 9232 pgs degraded; 321 pgs stale; 7797 pgs stuck unclean; 9232 pgs undersized; recovery 21510/49914 objects degraded (43.094%); 16/36 in osds are down; 1 mons down, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 82, quorum 0,1 tt-ceph-048144,tt-ceph-048146
     osdmap e426: 36 osds: 20 up, 36 in
      pgmap v10814: 10304 pgs, 2 pools, 65782 MB data, 16638 objects
            235 GB used, 844 GB / 1079 GB avail
            21510/49914 objects degraded (43.094%)
                8911 active+undersized+degraded
                1072 active+clean
                 321 stale+active+undersized+degraded
  client io 3291 kB/s rd, 2477 B/s wr, 27 op/s

重新启动三个节点, 启动 mon, osd 服务

[root@tt-ceph-048148 ~]# ceph osd tree
# id    weight  type name       up/down reweight
-1      36      root default
-2      5               host tt-ceph-048144
0       1                       osd.0   up      1
1       1                       osd.1   up      1
2       1                       osd.2   up      1
3       1                       osd.3   up      1
4       1                       osd.4   up      1
-3      5               host tt-ceph-048145
5       1                       osd.5   up      1
6       1                       osd.6   up      1
7       1                       osd.7   up      1
8       1                       osd.8   up      1
9       1                       osd.9   up      1
-4      5               host tt-ceph-048146
10      1                       osd.10  up      1
11      1                       osd.11  up      1
12      1                       osd.12  up      1
13      1                       osd.13  up      1
14      1                       osd.14  up      1
-5      5               host tt-ceph-048147
15      1                       osd.15  up      1
16      1                       osd.16  up      1
17      1                       osd.17  up      1
18      1                       osd.18  up      1
19      1                       osd.19  up      1
-6      5               host tt-ceph-048148
20      1                       osd.20  up      1
21      1                       osd.21  up      1
22      1                       osd.22  up      1
23      1                       osd.23  up      1
24      1                       osd.24  up      1
-7      5               host tt-ceph-048149
25      1                       osd.25  up      1
26      1                       osd.26  up      1
27      1                       osd.27  up      1
28      1                       osd.28  up      1
29      1                       osd.29  up      1
-8      6               host tt-ceph-048150
30      1                       osd.30  up      1
31      1                       osd.31  up      1
32      1                       osd.32  up      1
33      1                       osd.33  up      1
34      1                       osd.34  up      1
35      1                       osd.35  up      1

参考集群状态

[root@tt-ceph-048148 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_WARN 2750 pgs degraded; 207 pgs down; 207 pgs peering; 207 pgs stuck inactive; 1822 pgs stuck unclean; 2749 pgs undersized; recovery 4525/49914 objects degraded (9.066%)
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 84, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e443: 36 osds: 36 up, 36 in
      pgmap v10843: 10304 pgs, 2 pools, 65782 MB data, 16638 objects
            232 GB used, 846 GB / 1079 GB avail
            4525/49914 objects degraded (9.066%)
                2749 active+undersized+degraded
                   1 active+degraded
                7347 active+clean
                 207 down+peering
recovery io 1116 MB/s, 283 objects/s
  client io 1247 MB/s rd, 2683 kB/s wr, 9946 op/s

集群会被自动修复成功

[root@tt-ceph-048148 ~]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 84, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e443: 36 osds: 36 up, 36 in
      pgmap v10855: 10304 pgs, 2 pools, 65874 MB data, 16662 objects
            233 GB used, 845 GB / 1079 GB avail
               10304 active+clean
  client io 3240 kB/s rd, 26 op/s

整个 CEPH 集群停电测试

在所有 ceph 节点关闭后, 重启启动主机, 分别启动 MON OSD 服务后, 集群会自动恢复正常, 客户可继续访问, 读写云盘

[root@tt-ceph-048144 ceph]# ceph -s
    cluster 60391f4d-734f-425d-89b2-1fcb26c876c8
     health HEALTH_OK
     monmap e1: 3 mons at {tt-ceph-048144=192.168.48.144:6789/0,tt-ceph-048146=192.168.48.146:6789/0,tt-ceph-048148=192.168.48.148:6789/0}, election epoch 90, quorum 0,1,2 tt-ceph-048144,tt-ceph-048146,tt-ceph-048148
     osdmap e474: 36 osds: 36 up, 36 in
      pgmap v10961: 10304 pgs, 2 pools, 66864 MB data, 16911 objects
            239 GB used, 840 GB / 1079 GB avail
               10304 active+clean
  client io 2930 kB/s rd, 2929 B/s wr, 24 op/s

你可能感兴趣的:(ceph)

【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十八）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
ceph KVM使用rbd做存储 SkTj
博客：https://blog.csdn.net/bobpen/article/details/40112939博客：http://www.aboutyun.com/thread-13195-1-1.html导言很多cepher都会使用RBD块存储功能，下面介绍qemu-kvm访问RBD的方法。操作目前Ubuntu14.04.x和CentOS7.1(如使用CentOS7建议升级到7.1，CentO
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十一）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【mysql】mysql之优化向往风的男子 DBA mysql 数据库
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
python 物理引擎摩擦力_Python物理引擎简单的艾伦 python 物理引擎摩擦力
Python的强大源自众多领域大牛的支持，例如物理引擎方面，就有N多模块支持PyODEPyODEisasetofopen-sourcePythonbindingsforTheOpenDynamicsEngine,anopen-sourcephysicsengine.PyMunkpymunkisaeasy-to-usepythonic2dphysicslibrarythatcanbeusedwhen
k8s 存储(PV、PVC、SC、本地存储、NFS) 大江东去了吗 kubernetes java linux
存储持久化相关三个概念:PersistentVolume(PV)是对具体存储资源的描述，比如NFS、Ceph、GlusterFS等，通过PV可以访问到具体的存储资源;PersistentVolumeClaim(PVC)Pod想要使用具体的存储资源需要对接到PVC，PVC里会定义好Pod希望使用存储的属性，通过PVC再去申请合适的存储资源(PV)，匹配到合适的资源后PVC和PV会进行绑定，它们两者是
cephadm搭建ceph文件集群存储 L__liurs 服务器
一、基础配置1、配置主机名[root@ecs-cd34~]hostnamectlset-hostnamenode1[root@ecs-cd34~]execbash#主机名生效2、配置hosts解析（根据自己的服务器id修改）cat>>/etc/hosts/etc/docker/daemon.json<
存储集群消除pg数量过多的告警大大金 ceph
[root@xxxxxxxxxxxxxx~]#ceph-scluster334cfe7e-9ccc-483d-8d2c-218fde3a5fdehealthHEALTH_WARNtoomanyPGsperOSD(307>max300)nodeep-scrubflag(s)setmonmape1:3monsat{node1=100.88.28.11:6789/0,node2=100.88.28.12
linux搭建ceph集群浓黑的daidai linux ceph 服务器
linux三节点搭建ceph集群主机IP主机名称172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds都搭建在node1上，node2和node3上搭建ceph-osd，每个机器1个osdCeph是一个分布式的存储系统，可以在统一的系统中提供唯一的对象、块和文件存储，Ceph的大致组件如下：1.
3. ceph-mimic版本部署 Martin_wjc 7 存储 ceph chrome 前端
ceph-mimic版本部署一、ceph-mimic版本部署1、环境规划2、系统基础环境准备2.1关闭防火墙、SELinux2.2确保所有主机时间同步2.3所有主机ssh免密2.4添加所有主机解析3、配置ceph软件仓库4、安装ceph-deploy工具5、ceph集群初始化6、所有ceph集群节点安装相关软件7、客户端安装ceph-common软件8、在ceph集群中创建cephmonitor组
upmap的存储池osd坏盘处理问题奋斗的松鼠 ceph
写在前面喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文！在《坏盘处理时osd为什么不要rm》文章中，松鼠哥对比了多组各种osd处理与数据的情况，有一个细节，那就是如果osd在重建前后要保持pg映射的一致性，那么存储池做均衡使用的是crush-compat模式，同时有读者老铁留言，说当存储池使用了upmap模式做存储池均衡的话，osd重建前后将不能保持相同的pg映射。因为松鼠哥对存
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十四）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十九）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（二十三）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
ceph rgw：bucket policy实现牛牛Blog Ceph ceph rgw bucket policy实现
cephrgw：bucketpolicy实现相比于aws，rgw的bucketpolicy实现的还不是很完善，有很多细节都不支持，并且已支持的特性也在很多细节方面与s3不同，尤其是因为rgw不支持类似s3的accountuser结构，而使用tenant作为替代而导致的一些不同。并且在文档中还提及，为了修正这种不同，以及支持更多特性，在不久后会重写rgw的Authentication/Authori
ceph rgw java_ceph rgw multisite基本用法 weixin_39587113 ceph rgw java
Realm：Zonegroup：理解为数据中心，由一个或多个Zone组成，每个Realm有且仅有一个MasterZonegroup，用于处理系统变更，其他的称为SlaveZonegroup，元数据与MasterZonegroup保持一致；Zone:Zone是一个逻辑概念，包含一个或者多个RGW实例。每个Zonegroup有且仅有一个MasterZone，用于处理bucket和user等元数据变更。
一文读懂CEPH RGW基本原理 shichungang ceph 分布式大数据云计算
一文读懂CEPHRGW基本原理一、RGW简介二、RGW的组成结构三、Rgw用户信息四、BUCKET与对象索引信息五、RGW对象与RADOS对象的关系六、上传对象的处理流程七、RGW的双活机制八、RGW版本管理机制与CLS机制九、结语本文从RGW的基本原理出发，从整体上描述RGW的框架结构，突出关键结构之间的关联关系，从基础代码分析关键环节的实现细节，以达到清晰说明RGW模块“骨架”的效果。一、RG
【mysql】mysql之存储引擎学习向往风的男子 DBA mysql 学习数据库
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【ceph学习】ceph如何进行数据的读写（2）陶二先生 ceph osd
本章摘要上文说到，librados/IoctxImpl.cc中调用objecter_op和objecter的op_submit函数，进行op请求的封装、加参和提交。本文详细介绍相关函数的调用。osdc中的操作初始化Op对象，提交请求设置Op对象的时间，oid，操作类型等信息。//osdc/Objector.h//mid-levelhelpersOp*prepare_mutate_op(consto
【ceph学习】ceph如何进行数据的读写（3）陶二先生 ceph osd messenger
本章摘要上文说到，osdc中封装请求，使用message中的相关机制将请求发送出去。本文详细介绍osd服务端如何进行请求的接收。osd初始化osd启动时，定义了message变量ms_public，该变量绑定public网络，负责接收客户端的请求。ms_public会启动对应的线程进行接收，并指定接收函数。//ceph_osd.ccMessenger*ms_public=Messenger::cr
云原生应用(7)之Docker容器数据持久化存储机制技术路上的苦行僧云原生应用与架构设计云原生 docker 容器 docker容器数据持久化
一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘，所以可以直接把数据存储在物理机或虚拟机本地文件系统中，亦或者也可以通过使用额外的存储系统（NFS、GlusterFS、Ceph等）来完成数据持久化存储。Docker容器数据持久化存储由于Docker容器是由容器镜像生成的，所以一般容器镜像中包含什么文件或目录，在容器启动后，我们依旧可以看到相
Openstack 与 Ceph集群搭建(下)： Openstack部署范枝洲系统运维 openstack ceph
文章目录文章参考部署节点准备1.修改Host文件与hostname名称2.安装NTP软件3.网卡配置信息4.开启Docker共享挂载5.安装python虚拟环境6.安装kolla-ansible7.加载AnsiblegalaxyrequirementsOpenstack安装前预配置1.配置密码2.配置multinode文件3.修改全局配置文件Openstack正式安装1.启动bootstrap-s
学习笔记六：ceph介绍以及初始化配置风车带走过往 K8S相关应用学习笔记 ceph
k8s对接cephceph是一种开源的分布式的存储系统，包含以下几种存储类型：块存储（rbd）文件系统cephfs对象存储分布式存储的优点：Ceph核心组件介绍安装Ceph集群初始化配置Ceph安装源安装基础软件包安装ceph集群安装ceph-deploy创建monitor节点修改ceph配置文件配置初始monitor、收集所有的密钥部署osd服务创建ceph文件系统ceph是一种开源的分布式的存
云原生存储解决方案爱技术的小伙子云原生
云原生存储解决方案使用Rook、Ceph等工具进行云原生存储管理云原生存储简介什么是云原生存储云原生存储是指设计用于云原生环境中的存储解决方案，通常在容器化平台如Kubernetes上运行。它提供了高可用性、弹性、可扩展性和自动化管理等特性，满足现代应用的存储需求。云原生存储的重要性动态环境支持：云原生存储能够适应容器化应用的动态变化，提供灵活的存储资源管理。高可用性和持久性：确保数据在容器重启或
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十二）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【mysql】mysql之数据操作语言（insert、delete、update）向往风的男子 DBA mysql 数据库
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十五）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（十）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
【从问题中去学习k8s】k8s中的常见面试题（夯实理论基础）（六）向往风的男子 k8s 学习 kubernetes 容器
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
用MiddleGenIDE工具生成hibernate的POJO（根据数据表生成POJO类） AdyZhang POJO eclipse Hibernate MiddleGenIDE
推荐:MiddlegenIDE插件, 是一个Eclipse 插件. 用它可以直接连接到数据库, 根据表按照一定的HIBERNATE规则作出BEAN和对应的XML ，用完后你可以手动删除它加载的JAR包和XML文件! 今天开始试着使用
.9.png Cb123456 android
“点九”是andriod平台的应用软件开发里的一种特殊的图片形式，文件扩展名为：.9.png 　　智能手机中有自动横屏的功能,同一幅界面会在随着手机(或平板电脑)中的方向传感器的参数不同而改变显示的方向,在界面改变方向后,界面上的图形会因为长宽的变化而产生拉伸,造成图形的失真变形。　　我们都知道android平台有多种不同的分辨率，很多控件的切图文件在被放大拉伸后，边
算法的效率天子之骄算法效率复杂度最坏情况运行时间大O阶平均情况运行时间
算法的效率效率是速度和空间消耗的度量。集中考虑程序的速度，也称运行时间或执行时间，用复杂度的阶(O)这一标准来衡量。空间的消耗或需求也可以用大O表示，而且它总是小于或等于时间需求。以下是我的学习笔记： 1.求值与霍纳法则，即为秦九韶公式。 2.测定运行时间的最可靠方法是计数对运行时间有贡献的基本操作的执行次数。运行时间与这个计数成正比。
java数据结构何必如此 java 数据结构
Java 数据结构 Java工具包提供了强大的数据结构。在Java中的数据结构主要包括以下几种接口和类：枚举（Enumeration）位集合（BitSet）向量（Vector）栈（Stack）字典（Dictionary）哈希表（Hashtable）属性（Properties）以上这些类是传统遗留的，在Java2中引入了一种新的框架-集合框架(Collect
MybatisHelloWorld 3213213333332132
//测试入口TestMyBatis package com.base.helloworld.test; import java.io.IOException; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSession; import org.apache.ibat
Java|urlrewrite|URL重写|多个参数 7454103 java xml Web 工作
个人工作经验！如有不当之处，敬请指点 1.0 web -info 目录下建立 urlrewrite.xml 文件类似如下： <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE u
达梦数据库+ibatis darkranger sql mysql ibatis SQL Server
--插入数据方面如果您需要数据库自增... 那么在插入的时候不需要指定自增列. 如果想自己指定ID列的值, 那么要设置 set identity_insert 数据库名.模式名.表名; ----然后插入数据; example: create table zhabei.test( id bigint identity(1,1) primary key, nam
XML 解析四种方式 aijuans android
XML现在已经成为一种通用的数据交换格式,平台的无关性使得很多场合都需要用到XML。本文将详细介绍用Java解析XML的四种方法。 XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object
spring中配置文件占位符的使用 avords
1.类 <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.o
前端工程化-公共模块的依赖和常用的工作流 bee1314 webpack
题记：一个人的项目，还有工程化的问题嘛？我们在推进模块化和组件化的过程中，肯定会不断的沉淀出我们项目的模块和组件。对于这些沉淀出的模块和组件怎么管理？另外怎么依赖也是个问题？你真的想这样嘛？ var BreadCrumb = require(‘../../../../uikit/breadcrumb’); //真心ugly。
上司说「看你每天准时下班就知道你工作量不饱和」，该如何回应？ bijian1013 项目管理沟通 IT职业规划
问题：上司说「看你每天准时下班就知道你工作量不饱和」，如何回应正常下班时间6点，只要是6点半前下班的，上司都认为没有加班。 Eno-Bea回答，注重感受，不一定是别人的虽然我不知道你具体从事什么工作与职业，但是我大概猜测，你是从事一项不太容易出现阶段性成果的工作
TortoiseSVN，过滤文件征客丶 SVN
环境： TortoiseSVN 1.8 配置：在文件夹空白处右键选择 TortoiseSVN -> Settings 在 Global ignote pattern 中添加要过滤的文件：多类型用英文空格分开 *name ：过滤所有名称为 name 的文件或文件夹 *.name ：过滤所有后缀为 name 的文件或文件夹 --------
【Flume二】HDFS sink细说 bit1129 Flume
1. Flume配置 a1.sources=r1 a1.channels=c1 a1.sinks=k1 ###Flume负责启动44444端口 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 a1.sources.r1.chan
The Eight Myths of Erlang Performance bookjovi erlang
erlang有一篇guide很有意思： http://www.erlang.org/doc/efficiency_guide 里面有个The Eight Myths of Erlang Performance： http://www.erlang.org/doc/efficiency_guide/myths.html Myth: Funs are sl
java多线程网络传输文件(非同步)-2008-08-17 ljy325 java 多线程 socket
利用 Socket 套接字进行面向连接通信的编程。客户端读取本地文件并发送；服务器接收文件并保存到本地文件系统中。使用说明:请将TransferClient, TransferServer, TempFile三个类编译，他们的类包是FileServer. 客户端: 修改TransferClient: serPort, serIP, filePath, blockNum,的值来符合您机器的系
读《研磨设计模式》-代码笔记-模板方法模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet;
配置心得 chenyu19891124 配置
时间就这样不知不觉的走过了一个春夏秋冬，转眼间来公司已经一年了，感觉时间过的很快，时间老人总是这样不停走，从来没停歇过。作为一名新手的配置管理员，刚开始真的是对配置管理是一点不懂，就只听说咱们公司配置主要是负责升级，而具体该怎么做却一点都不了解。经过老员工的一点点讲解，慢慢的对配置有了初步了解，对自己所在的岗位也慢慢的了解。做了一年的配置管理给自总结下： 1.改变从一个以前对配置毫无
对“带条件选择的并行汇聚路由问题”的再思考 comsci 算法工作软件测试嵌入式领域模型
2008年上半年，我在设计并开发基于”JWFD流程系统“的商业化改进型引擎的时候，由于采用了新的嵌入式公式模块而导致出现“带条件选择的并行汇聚路由问题”(请参考2009-02-27博文)，当时对这个问题的解决办法是采用基于拓扑结构的处理思想，对汇聚点的实际前驱分支节点通过算法预测出来，然后进行处理，简单的说就是找到造成这个汇聚模型的分支起点，对这个起始分支节点实际走的路径数进行计算，然后把这个实际
Oracle 10g 的clusterware 32位下载地址 daizj oracle
Oracle 10g 的clusterware 32位下载地址 http://pan.baidu.com/share/link?shareid=531580&uk=421021908 http://pan.baidu.com/share/link?shareid=137223&uk=321552738 http://pan.baidu.com/share/l
非常好的介绍：Linux定时执行工具cron dongwei_6688 linux
Linux经过十多年的发展，很多用户都很了解Linux了，这里介绍一下Linux下cron的理解，和大家讨论讨论。cron是一个Linux 定时执行工具，可以在无需人工干预的情况下运行作业，本文档不讲cron实现原理，主要讲一下Linux定时执行工具cron的具体使用及简单介绍。新增调度任务推荐使用crontab -e命令添加自定义的任务（编辑的是/var/spool/cron下对应用户的cr
Yii assets目录生成及修改 dcj3sjt126com yii
assets的作用是方便模块化，插件化的，一般来说出于安全原因不允许通过url访问protected下面的文件，但是我们又希望将module单独出来，所以需要使用发布，即将一个目录下的文件复制一份到assets下面方便通过url访问。 assets设置对应的方法位置 \framework\web\CAssetManager.php assets配置方法在m
mac工作软件推荐 dcj3sjt126com mac
mac上的Terminal + bash ＋ screen组合现在已经非常好用了，但是还是经不起iterm＋zsh＋tmux的冲击。在同事的强烈推荐下，趁着升级mac系统的机会，顺便也切换到iterm＋zsh＋tmux的环境下了。我为什么要要iterm2 切换过来也是脑袋一热的冲动，我也调查过一些资料，看了下iterm的一些优点： * 兼容性好，远程服务器 vi 什么的低版本能很好兼
Memcached(三)、封装Memcached和Ehcache frank1234 memcached ehcache spring ioc
本文对Ehcache和Memcached进行了简单的封装，这样对于客户端程序无需了解ehcache和memcached的差异，仅需要配置缓存的Provider类就可以在二者之间进行切换，Provider实现类通过Spring IoC注入。 cache.xml <?xml version="1.0" encoding="UTF-8"?>
Remove Duplicates from Sorted List II hcx2013 remove
Given a sorted linked list, delete all nodes that have duplicate numbers, leaving only distinct numbers from the original list. For example,Given 1->2->3->3->4->4->5,
Spring4新特性——注解、脚本、任务、MVC等其他特性改进 jinnianshilongnian spring4
Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API Spring4新
MySQL安装文档 liyong0802 mysql
工作中用到的MySQL可能安装在两种操作系统中，即Windows系统和Linux系统。以Linux系统中情况居多。安装在Windows系统时与其它Windows应用程序相同按照安装向导一直下一步就即，这里就不具体介绍，本文档只介绍Linux系统下MySQL的安装步骤。 Linux系统下安装MySQL分为三种：RPM包安装、二进制包安装和源码包安装。二
使用VS2010构建HotSpot工程 p2p2500 HotSpot OpenJDK VS2010
1. 下载OpenJDK7的源码： http://download.java.net/openjdk/jdk7 http://download.java.net/openjdk/ 2. 环境配置 ▶
Oracle实用功能之分组后列合并 seandeng888 oracle 分组实用功能合并
1 实例解析由于业务需求需要对表中的数据进行分组后进行合并的处理，鉴于Oracle10g没有现成的函数实现该功能，且该功能如若用JAVA代码实现会比较复杂，因此，特将SQL语言的实现方式分享出来，希望对大家有所帮助。如下：表test 数据如下： ID,SUBJECTCODE,DIMCODE,VALUE 1&nbs
Java定时任务注解方式实现 tuoni java spring jvm xml jni
Spring 注解的定时任务，有如下两种方式：第一种： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http
11大Java开源中文分词器的使用方法和分词效果对比 yangshangchuan word分词器 ansj分词器 Stanford分词器 FudanNLP分词器 HanLP分词器
本文的目标有两个： 1、学会使用11大Java开源中文分词器 2、对比分析11大Java开源中文分词器的分词效果本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对比