处理Ceph osd的journal的uuid问题

前言

之前有一篇文章介绍的是，在centos7的jewel下面如果自己做的分区如何处理自动挂载的问题，当时的环境对journal的地方采取的是文件的形式处理的，这样就没有了重启后journal的磁盘偏移的问题

如果采用的是ceph自带的deploy去做分区的处理的时候，是调用的sgdisk去对磁盘做了一些处理的，然后deploy能够识别一些特殊的标记，然后去做了一些其他的工作，而自己分区的时候，是没有做这些标记的这样就可能会有其他的问题

我们看下如何在部署的时候就处理好journal的uuid的问题

实践

按常规流程部署OSD

准备测试的自分区磁盘

1
2
3
4
5
dd if=/dev/zero of=/dev/sde bs=4M count=100;
dd if=/dev/zero of=/dev/sdf bs=4M count=100; parted /dev/sde mklabel gpt;
parted /dev/sdf mklabel gpt;
parted /dev/sde mkpart primary 1 100%;
parted /dev/sdf mkpart primary 1 100%

使用的sde1作为数据盘，使用sdf1作为ssd的独立分区的journal磁盘

我们线按照常规的步骤去部署下

做osd的prepare操作
1
2
3
4
[root@lab8106 ceph]# ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1
···
[lab8106][WARNIN] adjust_symlink: Creating symlink /var/lib/ceph/tmp/mnt.7HuS8k/journal -> /dev/sdf1
···
做osd的activate操作
1
2
3
4
5
6
[root@lab8106 ceph]# ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf
···
[lab8106][WARNIN] ceph_disk.main.Error: Error: ['ceph-osd', '--cluster', 'ceph', '--mkfs', '--mkkey', '-i', '7', '--monmap', '/var/lib/ceph/tmp/mnt.yOP4gv/activate.monmap', '--osd-data', '/var/lib/ceph/tmp/mnt.yOP4gv', '--osd-journal', '/var/lib/ceph/tmp/mnt.yOP4gv/journal', '--osd-uuid', '5c59284b-8d82-4cc6-b566-8b102dc25568', '--keyring', '/var/lib/ceph/tmp/mnt.yOP4gv/keyring', '--setuser', 'ceph', '--setgroup', 'ceph'] failed : 2016-12-26 13:11:54.211543 7f585e926800 -1 filestore(/var/lib/ceph/tmp/mnt.yOP4gv) mkjournal error creating journal on /var/lib/ceph/tmp/mnt.yOP4gv/journal: (13) Permission denied
[lab8106][WARNIN] 2016-12-26 13:11:54.211564 7f585e926800 -1 OSD::mkfs: ObjectStore::mkfs failed with error -13
[lab8106][WARNIN] 2016-12-26 13:11:54.211616 7f585e926800 -1  ** ERROR: error creating empty object store in /var/lib/ceph/tmp/mnt.yOP4gv: (13) Permission denied
···

可以看到提示的是权限不足，我们检查下权限

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@lab8106 ceph]# mount /dev/sde1 /mnt
[root@lab8106 ceph]# ll /mnt/
total 32
-rw-r--r-- 1 root root 193 Dec 26 13:11 activate.monmap
-rw-r--r-- 1 ceph ceph  37 Dec 26 13:11 ceph_fsid
drwxr-xr-x 3 ceph ceph  37 Dec 26 13:11 current
-rw-r--r-- 1 ceph ceph  37 Dec 26 13:11 fsid
lrwxrwxrwx 1 ceph ceph   9 Dec 26 13:11 journal -> /dev/sdf1
-rw-r--r-- 1 ceph ceph  37 Dec 26 13:11 journal_uuid
-rw-r--r-- 1 ceph ceph  21 Dec 26 13:11 magic
-rw-r--r-- 1 ceph ceph   4 Dec 26 13:11 store_version
-rw-r--r-- 1 ceph ceph  53 Dec 26 13:11 superblock
-rw-r--r-- 1 ceph ceph   2 Dec 26 13:11 whoami
[root@lab8106 ceph]# ll /dev/sdf1
brw-rw---- 1 root disk 8, 81 Dec 26 13:03 /dev/sdf1

创建sdf1的journal的时候权限有问题，我们给下磁盘权限

1
2
[root@lab8106 ceph]# chown ceph:ceph /dev/sdf1 
[root@lab8106 ceph]# ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf1

可以看到成功了

检查下osd的目录：
1
2
3
4
5
6
7
8
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-7
total 56
-rw-r--r--   1 root root  193 Dec 26 13:15 activate.monmap
-rw-r--r--   1 ceph ceph    3 Dec 26 13:15 active
-rw-r--r--   1 ceph ceph   37 Dec 26 13:11 ceph_fsid
drwxr-xr-x 166 ceph ceph 4096 Dec 26 13:16 current
-rw-r--r--   1 ceph ceph   37 Dec 26 13:11 fsid
lrwxrwxrwx   1 ceph ceph    9 Dec 26 13:11 journal -> /dev/sdf1

可以看到journal链接到了/dev/sdf1，这次的部署是成功了，但是这里就有个问题，如果下次重启的时候，sdf1不是sdf1盘符变了，那么问题就会产生了，osd可能就无法启动了

优化下部署流程

这里是优化后的流程，解决上面的问题的
准备测试的自分区磁盘

1
2
3
4
5
6
dd if=/dev/zero of=/dev/sde bs=4M count=100;
dd if=/dev/zero of=/dev/sdf bs=4M count=100; 
parted /dev/sde mklabel gpt;
parted /dev/sdf mklabel gpt;
parted /dev/sde mkpart primary 1 100%;
parted /dev/sdf mkpart primary 1 100%

给jounral盘做一个标记(特殊标记，下面的字符串不要变动固定写法)

1
/usr/sbin/sgdisk  --change-name=1:'ceph journal' --typecode=1:45b0969e-9b03-4f30-b4c6-b4b80ceff106  -- /dev/sdf

给数据盘做一个标记(特殊标记，下面的字符串不要变动固定写法)

1
/usr/sbin/sgdisk  --change-name=1:'ceph data' --typecode=1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d -- /dev/sde

检查下当前的分区标记情况

1
2
3
4
5
[root@lab8106 ~]# ceph-disk list
/dev/sde :
 /dev/sde1 ceph data, unprepared
/dev/sdf :
 /dev/sdf1 ceph journal
做osd的prepare操作
1
2
ceph-deploy osd prepare lab8106:/dev/sde1:/dev/sdf1
ceph-deploy osd activate lab8106:/dev/sde1:/dev/sdf1

再次检查下当前的分区标记情况

1
2
3
4
5
6
[root@lab8106 ceph]# ceph-disk list
···
/dev/sde :
 /dev/sde1 ceph data, active, cluster ceph, osd.8, journal /dev/sdf1
/dev/sdf :
 /dev/sdf1 ceph journal, for /dev/sde1
查看jounral的数据
1
2
3
4
5
6
7
8
9
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-8
total 56
-rw-r--r--   1 root root  193 Dec 26 13:26 activate.monmap
-rw-r--r--   1 ceph ceph    3 Dec 26 13:26 active
-rw-r--r--   1 ceph ceph   37 Dec 26 13:25 ceph_fsid
drwxr-xr-x 164 ceph ceph 4096 Dec 26 13:26 current
-rw-r--r--   1 ceph ceph   37 Dec 26 13:25 fsid
lrwxrwxrwx   1 ceph ceph   58 Dec 26 13:25 journal -> /dev/disk/by-partuuid/cd72d6e8-07d0-4cd3-8c6b-a33d624cae36
···

可以看到已经正确的链接了,并且部署过程中也没有了上面的需要进行权限的处理，这个是deploy工具在中间帮做了

总结

处理的核心在于做的那两个标记，其他的就交给deploy工具自己处理就行了，如果有兴趣可以深入研究，没兴趣的话，就安装上面说的方法进行处理就行