利用火焰图分析ceph pg分布 前言性能优化大神Brendan Gregg发明了火焰图来定位性能问题,通过图表就可以发现问题出在哪里,通过svg矢量图来查看性能卡在哪个点,哪个操作占用的资源最多 在查看了原始数据后,这个分析的原理是按层级来对调用进行一个计数,然后以层级去做比对,来看横向的占用的比例情况 基于这个原理,把osd tree的数据和pg数据可以做一个层级的组合,从而可以很方便的看出pg的分布情况,主机的分布情况,还可 2017-07-18 暂未分类 #暂未分类
Cephfs 操作输出到日志查询系统 前言文件系统当中如果某些文件不见了,有什么办法判断是删除了还是自己不见了,这个就需要去日志里面定位了,通常情况下是去翻日志,而日志是会进行压缩的,并且查找起来非常的不方便,还有可能并没有开启 这个时候就需要日志系统了,最近正好看到一篇最佳日志实践(v2.0),一篇非常好的文章,本篇日志属于文章里面所提到的统计日志,统计客户端做了什么操作 对于日志系统来说,很重要的一点,能够很方便的进行查询,这就需 2017-07-13 暂未分类 #暂未分类
ceph luminous 新功能之磁盘智能分组 前言本篇是luminous一个新功能介绍,关于磁盘智能分组的,这个在ceph里面叫crush class,这个我自己起名叫磁盘智能分组,因为这个实现的功能就是根据磁盘类型进行属性关联,然后进行分类,减少了很多的人为操作 以前我们需要对ssd和hdd进行分组的时候,需要大量的修改crush map,然后绑定不同的存储池到不同的 crush 树上面,现在这个逻辑简化了很多 ceph crush cl 2017-06-28 暂未分类 #暂未分类
ceph luminous 新功能之内置dashboard 前言ceph luminous版本新增加了很多有意思的功能,这个也是一个长期支持版本,所以这些新功能的特性还是很值得期待的,从底层的存储改造,消息方式的改变,以及一些之前未实现的功能的完成,都让ceph变得更强,这里面有很多核心模块来自中国的开发者,在这里准备用一系列的文章对这些新功能进行一个简单的介绍,也是自己的一个学习的过程 相关配置配置ceph国内源修改 /etc/yum 2017-06-25 暂未分类 #暂未分类
调整PG分多次调整和一次到位的迁移差别分析 前言这个问题来源于我们研发的一个问题,在进行pg调整的时候,是一次调整到位好,还是分多次调整比较好,分多次调整的时候会不会出现某个pg反复挪动的问题,造成整体迁移量大于一次调整的 最近自己的项目上也有pg调整的需求,这个需求一般来源于pg规划好了,后期出现节点扩容的情况,需要对pg进行增加的调整 本篇用具体的数据来分析两种方式的差别 因为本篇的篇幅较长,直接先把结论拿出来 数据结论 调整pg 2017-06-14 暂未分类 #暂未分类
使用日志系统graylog获取Ceph集群状态 前言在看集群的配置文件的时候看到ceph里面有一个graylog的输出选择,目前看到的是可以收集mon日志和clog,osd单个的日志没有看到,Elasticsearch有整套的日志收集系统,可以很方便的将所有日志汇总到一起,这个graylog的收集采用的是自有的udp协议,从配置上来说可以很快的完成,这里只做一个最基本的实践 系统实践graylog日志系统主要由三个组件组成的 MongoDB 2017-06-09 暂未分类 #暂未分类
Ceph部署mon出现0.0.0.0地址 前言最近在群里两次看到出现mon地址不对的问题,都是显示0.0.0.0:0地址,如下所示: 12345[root@lab8106 ceph]# ceph -s cluster 3137d009-e41e-41f0-b8f8-5cb574502572 health HEALTH_ERR 1 mons down, quorum 0,1,2 lab8106,node8 2017-06-06 暂未分类 #暂未分类
Centos7升级内核后无法启动解决办法 前言这个问题存在有一段时间了,之前做的centos7的ISO,在进行内核的升级以后就存在这个问题: 系统盘在板载sata口上是可以正常启动新内核并且能识别面板硬盘 系统盘插在面板口上新内核无法启动,调试发现无法找到系统盘 系统盘插在面板上默认的3.10内核可以正常启动 暂时的解决办法就是让系统插在板载的sata口上,因为当时没找到具体的解决办法,在这个问题持续了一段时间后,最近再次搜索资料的时 2017-06-01 暂未分类 #暂未分类
Freebsd10.2安装包升级pkg引起环境破坏的解决 前言freebsd10.2环境在安装一个新软件包的时候提示升级pkg到1.10.1,然后点击了升级,然后整个pkg环境就无法使用了 记录升级完了软件包以后第一个错误提示 FreeBSD: /usr/local/lib/libpkg.so.3: Undefined symbol “utimensat” 这个是因为这个库是在freebsd的10.3当中才有 2017-05-24 暂未分类 #暂未分类
多MDS变成单MDS的方法 前言之前有个cepher的环境上是双活MDS的,需要变成MDS,目前最新版本是支持这个操作的 方法设置最大mds多活的mds的max_mds会超过1,这里需要先将max_mds设置为1 1ceph mds set max_mds 1 deactive mds看下需要停掉的mds是rank 0 还是rank1,然后执行下面的命令即可 12[root@server8 ~]# ceph -s|grep 2017-05-03 暂未分类 #暂未分类