调整PG分多次调整和一次到位的迁移差别分析

前言

这个问题来源于我们研发的一个问题，在进行pg调整的时候，是一次调整到位好，还是分多次调整比较好，分多次调整的时候会不会出现某个pg反复挪动的问题，造成整体迁移量大于一次调整的

最近自己的项目上也有pg调整的需求，这个需求一般来源于pg规划好了，后期出现节点扩容的情况，需要对pg进行增加的调整

本篇用具体的数据来分析两种方式的差别

因为本篇的篇幅较长，直接先把结论拿出来

数据结论

调整pg 迁移pg 迁移对象
1200->1440 460 27933
1440->1680 458 27730
1680->1920 465 27946
1920->2160 457 21141
2160->2400 458 13938
总和 2305 132696
调整pg 迁移pg 迁移对象
1200->2400 2299 115361

结论：
分多次调整的时候，PG迁移量比一次调整多了6个，多了0.2%，对象的迁移量多了17335，多了15%

从数据上看pg迁移的数目基本一样，但是数据量是多了15%，这个是因为分多次迁移的时候，在pg基数比较小的时候，迁移一个pg里面的对象要比后期分裂以后的对象要多，就产生了这个数据量的差别

从整体上来看二者需要迁移的pg基本差不多，数据量上面会增加15%，分多次的时候是可以进行周期性调整的，拆分到不同的时间段来做，所以各有好处

实践

环境准备

本次测试采用的是开发环境，使用开发环境可以很快的部署一个需要的环境，本次分析采用的就是一台机器模拟的4台机器48个 4T osd的环境

环境搭建

生成集群

1
./vstart.sh -n  --mon_num 1 --osd_num 48 --mds_num 1 --short  -d

后续操作都在源码的src目录下面执行

设置存储池副本为2

修改crush weight 为3.7模拟4T盘

1
seq 0 47| xargs -i ./ceph -c ceph.conf osd crush reweight osd.{} 3.8

模拟主机分组

1
2
3
4
seq 0 11 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8106 root=default
seq 12 23 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8107 root=default
seq 24 35 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8108 root=default
seq 36 47 |xargs -i ./ceph -c ceph.conf osd crush set osd.{} 3.8 host=lab8109 root=default

48个osd设置初始pg为1200，让每个osd上面差不多50个pg左右，做一下均衡操作，后续目标调整为pg为2400

准备120000个小文件准备put进去集群，使每个pg上面对象100个左右

1
./rados -c ceph.conf -p rbd bench -b 1K 600 write --no-cleanup

一次调整pg到2400

统计一次调整到位的情况下的数据迁移情况

1
./ceph  -c ceph.conf  osd pool set rbd pg_num 2400

记录当前的pg分布的情况

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappg_1200_pgp_2400

调整存储池的pgp为2400

1
./ceph -c ceph.conf osd pool set rbd  pgp_num 2400

等迁移完成以后，统计最终的pg分布情况

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappg2400_pgp2400

这里说明一下，调整pg的时候只会触发pg的分裂，并不会影响集群的分布，也就是不会出现pg迁移的情况，调整pgp以后才会去改变pg的分布，所以本次数据分析统计的是pgp变动后的迁移的数据量，这个量才是集群的真正的迁移量

用比较的脚本来进行统计（脚本会在本文文末提供）

1
2
3
4
[root@lab8106 src]#python compair.py pgmappg_1200_pgp_2400 pgmappg2400_pgp2400
| pgs | objects |
-----------------
[2299, 115361]

也就是整个环境有2299次pg的变动，总共迁移的对象数目为115361个

分五次调整到2400PG

初始pg为1200个第一次调整，1200PG调整到1440PG

1
./ceph -c ceph.conf osd pool set rbd pg_num 1440

调整pg为1440,当前pgp为1200
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaira1

调整pgp为1440,当前pg为1440
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaira2

统计第一次调整后的迁移量

1
2
3
4
[root@lab8106 pgdata]# python compair.py pgmappaira1 pgmappaira2
| pgs | objects |
-----------------
[460, 27933]

第二次调整，1440PG调整到1680PG

1
./ceph -c ceph.conf osd pool set rbd pg_num 1680

调整pg为1680,当前pgp为1440
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairb1

调整pgp为1680,当前pg为1680
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairb2

统计第二次调整后的迁移量

1
2
3
4
[root@lab8106 pgdata]# python compair.py pgmappairb1 pgmappairb2
| pgs | objects |
-----------------
[458, 27730]

第三次调整，1680PG调整到1920PG

1
./ceph -c ceph.conf osd pool set rbd pg_num 1920

调整pg为1920,当前pgp为1680
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairc1

调整pgp为1920,当前pg为1920
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappairc2

统计第三次调整后的迁移量

1
2
3
4
[root@lab8106 pgdata]# python compair.py  pgmappairc1 pgmappairc2
| pgs | objects |
-----------------
[465, 27946]

第四次调整，1920PG调整到2160PG

1
./ceph -c ceph.conf osd pool set rbd pg_num 2160

调整pg为2160,当前pgp为1920
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaird1

调整pgp为2160,当前pg为2160
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaird2

统计第四次调整后的迁移量

1
2
3
4
[root@lab8106 pgdata]# python compair.py pgmappaird1 pgmappaird2
| pgs | objects |
-----------------
[457, 21141]

第五次调整，2160PG调整到2400PG

1
./ceph -c ceph.conf osd pool set rbd pg_num 2400

调整pg为2400,当前pgp为2160
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaire1

调整pgp为2400,当前pg为2400
记录当前的pg分布数据

1
./ceph -c ceph.conf pg dump pgs|awk '{print $1,$2,$15,$17}' > pgmappaire2

统计第五次调整后的迁移量

1
2
3
4
[root@lab8106 pgdata]# python compair.py pgmappaire1 pgmappaire2
| pgs | objects |
-----------------
[458, 13938]

上面五次加起来的总量为
2305 PGS 132696 objects

统计的脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#!/usr/bin/env python
 # -*- coding: utf-8 -*-
__author__ ="zp"
import os,sys

class filetojson(object):
    def __init__(self,orin,new):
        self.origin=orin
        self.new=new

    def tojson(self,filename):
        data={}
        pginfo={}
        for line in open(filename):
            if "pg_stat" in line:
                continue
            lines=line.split()
            pg=lines[0]
            objects=lines[1]
            withosd=lines[2]

            data[pg]={'objects':objects,'osd':list(eval(withosd))}
        return data

    def compare(self):
        movepg=0
        allmovepg=0
        allmoveobject=0
        moveobject=0
        oringinmap=self.tojson(self.origin)
        newmap=self.tojson(self.new)
        for key in oringinmap:
            amapn=set(oringinmap[key]['osd'])
            bmapn=set(newmap[key]['osd'])
            movepg=len(list(amapn.difference(bmapn)))
            if movepg != 0:
                moveobject=int(oringinmap[key]['objects']) * int(movepg)
                allmovepg=allmovepg+movepg
                allmoveobject=allmoveobject+moveobject
        return [allmovepg,allmoveobject]

mycom=filetojson(sys.argv[1],sys.argv[2])
print "| pgs | objects |"
print "-----------------"
print mycom.compare()

总结

本篇是对集群进行pg调整的这个场景下迁移的数据进行分析的，对于一个集群来说，还是要用数据来进行问题的说明会比较有说服力，凭感觉还是没有那么强的说服力，本篇因为环境所限，所以在模拟的时候采用的是单个pg100个对象的样本，如果需要更精确的数据可以采用多次测试，并且加大这个单个pg的对象数目

变更记录

Why Who When
创建 武汉-运维-磨渣 2017-06-14