mon到底能坏几个

如果是在做ceph的配置，我们会经常遇到这几个问题

  1. 问：ceph需要配置几个mon
    答：配置一个可以，但是坏了一个就不行了，需要配置只是三个mon，并且需要是奇数个
  2. 问：ceph的mon能跟osd放在一起么，需要配置很好么？
    答：能跟放在一起，但是建议在环境允许的情况下一定独立机器，并且mon的配置能好尽量好，能上ssd就上ssd

这两个问题的答案不能说是错的，但是为什么这么说，这么说有没有问题，这篇文章将根据实际的数据来告诉你，到底mon的极限在哪里，为什么都说要奇数，偶数难道就不行么

前言

本篇将从真实的实践中，让你更能够理解mon的故障极限，本次测试的场景数据样本足够大，最大的一个测试使用了10个mon，我想目前就算PB基本的ceph集群里也没有人会超过10个mon，所以足够覆盖大部分的场景，先来一个数据图看下10个mon的集群长什么样

1
2
3
4
5
6
7
8
9
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
     health HEALTH_OK
     monmap e10: 10 mons at {10=192.168.8.107:6800/0,2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,7=192.168.8.107:6797/0,8=192.168.8.107:6798/0,9=192.168.8.107:6799/0,lab8107=192.168.8.107:6789/0}
            election epoch 58, quorum 0,1,2,3,4,5,6,7,8,9 lab8107,2,3,4,5,6,7,8,9,10
     osdmap e7: 1 osds: 1 up, 1 in
            flags sortbitwise
      pgmap v13: 64 pgs, 1 pools, 0 bytes data, 0 objects
            34268 kB used, 274 GB / 274 GB avail
                  64 active+clean

mon的地方可以看到10个mon了

测试结论

mondown

ceph的mon能够正常情况需要保证，当前剩余的mon的个数需要大于总mon个数的一半，例如10个mon，mon个数一半就是5个，那么大于5个就是6个，也就是最少需要6个，上面的测试结论也符合这个规则，为什么不去偶数个，是因为当mon的个数为偶数个的时候，允许down的mon的个数与少一个mon的情况下的mon的个数允许的个数是一样的，所以要么多两个，多一个增加不了可靠性，并不是不允许

测试过程的数据

10个mon集群

10个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
   health HEALTH_WARN
          4 mons down, quorum 0,1,2,3,4,5 lab8107,2,3,4,5,6
   monmap e10: 10 mons at {10=192.168.8.107:6800/0,2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,7=192.168.8.107:6797/0,8=192.168.8.107:6798/0,9=192.168.8.107:6799/0,lab8107=192.168.8.10

10个mon关闭4个没问题，关闭5个就卡死

9个mon集群

9个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         4 mons down, quorum 0,1,2,3,4 lab8107,2,3,4,5
  monmap e11: 9 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,7=192.168.8.107:6797/0,8=192.168.8.107:6798/0,9=192.168.8.107:6799/0,lab8107=192.168.8.107:6789/0}

9个mon关闭4个没问题，关闭5个就卡死

8个mon集群

8个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         3 mons down, quorum 0,1,2,3,4 lab8107,2,3,4,5
  monmap e12: 8 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,7=192.168.8.107:6797/0,8=192.168.8.107:6798/0,lab8107=192.168.8.107:6789/0}

8个mon关闭3个没问题，关闭4个就卡死

7个mon集群

7个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
   health HEALTH_WARN
          3 mons down, quorum 0,1,2,3 lab8107,2,3,4
   monmap e13: 7 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,7=192.168.8.107:6797/0,lab8107=192.168.8.107:6789/0}

7个mon关闭3个没问题，关闭4个就卡死

6个mon集群

6个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         2 mons down, quorum 0,1,2,3 lab8107,2,3,4
  monmap e14: 6 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,6=192.168.8.107:6796/0,lab8107=192.168.8.107:6789/0}

6个mon关闭2个没问题，关闭3个就卡死

5个mon集群

5个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         2 mons down, quorum 0,1,2 lab8107,2,3
  monmap e15: 5 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,5=192.168.8.107:6795/0,lab8107=192.168.8.107:6789/0}

5个mon关闭2个没问题，关闭3个就卡死

4个mon集群

4个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         1 mons down, quorum 0,1,2 lab8107,2,3
  monmap e16: 4 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,4=192.168.8.107:6794/0,lab8107=192.168.8.107:6789/0}

4个mon关闭1个没问题，关闭2个就卡死

3个mon集群

3个mon的极限

1
2
3
4
cluster ace3c18f-b4a5-4342-a598-8104a770d4a8
  health HEALTH_WARN
         1 mons down, quorum 0,1 lab8107,2
  monmap e17: 3 mons at {2=192.168.8.107:6792/0,3=192.168.8.107:6793/0,lab8107=192.168.8.107:6789/0}

3个mon关闭1个没问题，关闭2个就卡死

测试结束

下面为自己玩的一个动态图，10个mon正常，down 4个还是好的，down 5个就无法使用了