mon磁盘满重启的问题

问题

Ceph monitors 100% full filesystem, refusing start

问题原文

I have an issue with a (not in production!) Ceph cluster which I’m
trying to resolve.

分析

这是作者在使用多个mon的时候，数据出现了磁盘满的情况，然后重启mon进行压缩的时候，发现这个到了mon的最小空间阀值无法启动，然后就无法压缩，这个问题，还是因为对硬件的不重视，对软件的要求不清楚造成的

解决办法

mon的磁盘空间加大，这个在PB级别的集群中更需要重视这个问题，特别是在集群频繁的读写，或者pg变化比较多，osd变化比较多的情况下，这个数据量将是很大的，因为里面是用了leveldb的数据库，并且多个mon之间是需要同步的数据的，然后各自再做compact的操作，所以建议如下：

• 1、mon的数据分区需要是ssd的，加快数据的读写速度
• 2、mon的数据分区要100G以上，建议是150G，mon数据大概在80G左右后不会再大量的增长
• 3、在mon的参数中加入启动压缩的参数 mon_compact_on_start = false 和 mon_compact_on_bootstrap = false
• 4、尽量不要做在线的compact，这个是一个锁死的过程，此时mon会停止响应，可以采取重启的方式
• 5、mon的分区中dd 一个4G 左右的大文件，防止真的出现写满的情况下，再去重启进程的时候，好有空间可以释放
  如果能按上面的几个操作去配置集群，关于mon的磁盘满的问题基本可以避免或者解决

总结

关键的地方不要省配置，准备的越多，出问题的概率越小