CTDB使用radosobject作为lockfile

前言

服务器的服务做HA有很多种方式,其中有一种就是是用CTDB,之前这个是独立的软件来做HA的,现在已经跟着SAMBA主线里面了,也就是跟着samba发行包一起发行

之前CTDB的模式是需要有一个共享文件系统,并且在这个共享文件系统里面所有的节点都去访问同一个文件,会有一个Master会获得这个文件的锁

在cephfs的使用场景中可以用cephfs的目录作为这个锁文件的路径,这个有个问题就是一旦有一个节点down掉的时候,可能客户端也会卡住目录,这个目录访问会被卡住,文件锁在其他机器无法获取到,需要等到这个锁超时以后,其它节点才能获得到锁,这个切换的周期就会长一点了

CTDB在最近的版本当中加入了cluster mutex helper using Ceph RADOS的支持,本篇将介绍这个方式锁文件配置方式

实践过程

安装CTDB

1
[root@customos ~]# yum install samba ctdb

检查默认包里面是否有rados的支持

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@customos ~]# rpm -qpl samba-4.8.3-4.el7.x86_64.rpm

usr/libexec/ctdb
/usr/libexec/ctdb/ctdb_event
/usr/libexec/ctdb/ctdb_eventd
/usr/libexec/ctdb/ctdb_killtcp
/usr/libexec/ctdb/ctdb_lock_helper
/usr/libexec/ctdb/ctdb_lvs
/usr/libexec/ctdb/ctdb_mutex_fcntl_helper
/usr/libexec/ctdb/ctdb_natgw
/usr/libexec/ctdb/ctdb_recovery_helper
/usr/libexec/ctdb/ctdb_takeover_helper
/usr/libexec/ctdb/smnotify

这个可以看到默认并没有包含这个rados的支持,这个很多通用软件都会这么处理,因为支持第三方插件的时候需要开发库,而开发库又有版本的区别,所以默认并不支持,需要支持就自己编译即可,例如fio支持librbd的接口就是这么处理的,等到插件也通用起来的时候,可能就会默认支持了

很多软件的编译可以采取源码的编译方式,如果不是有很强的代码合入和patch跟踪能力,直接用发行包的方式是最稳妥的,所以为了不破坏这个稳定性,本篇采用的是基于发行版本,增加模块的方式,这样不会破坏核心组件的稳定性,并且后续升级也是比较简单的,这个也是个人推荐的方式

查询centos7.6当前使用的samba版本

1
2
[root@customos ~]# rpm -qa|grep samba
samba-4.8.3-4.el7.x86_64

打包新的CTDB

可以查询得到这个的源码包为samba-4.8.3-4.el7.src.rpm,进一步搜索可以查询的到这个src源码rpm包

1
http://vault.centos.org/7.6.1810/os/Source/SPackages/samba-4.8.3-4.el7.src.rpm

下载这个rpm包

1
[root@customos ~]# wget http://vault.centos.org/7.6.1810/os/Source/SPackages/samba-4.8.3-4.el7.src.rpm

如果下载比较慢的话就用迅雷下载,会快很多,国内的源里面把源码包的rpm都删除掉了,上面的是官网会有最全的包

解压这个rpm包

1
[root@customos ~]# rpm2cpio samba-4.8.3-4.el7.src.rpm |cpio -div

检查包的内容

1
2
3
4
5
6
7
8
9
10
11
12
[root@customos myctdb]# ls
CVE-2018-10858.patch samba-4.8.3-4.el7.src.rpm
CVE-2018-1139.patch samba-4.8.3-fix_krb5_plugins.patch
gpgkey-52FBC0B86D954B0843324CDC6F33915B6568B7EA.gpg samba-4.8.3-fix_winbind_getpwnam_local_user.patch
libldb-1.3.4-1.el7.x86_64.rpm samba-4.8.3-smbclient_quiet_argument.patch
libldb-devel-1.3.4-1.el7.x86_64.rpm samba-4.8.3.tar.asc
pam_winbind.conf samba-4.8.3.tar.xz
pyldb-1.3.4-1.el7.x86_64.rpm samba.log
pyldb-devel-1.3.4-1.el7.x86_64.rpm samba.pamd
README.dc samba.spec
README.downgrade smb.conf.example
samba-4.8.3 smb.conf.vendor

可以看到在源码包基础上还打入了很多的patch,内部的编译采用的是waf编译的方式,内部的过程就不做太多介绍了,这里只去改动我们需要的部分即可,也就是去修改samba.spec文件

我们先获取相关的编译选项,这个我最开始的时候打算独立编译ctdb的rpm包,发现有依赖关系太多,后来多次验证后,发现直接可以在samba编译里面增加选项的,选项获取方式

1
2
3
4
5
6
[root@lab211 samba-4.6.2]# ./configure --help|grep ceph
--with-libcephfs=LIBCEPHFS_DIR
Directory under which libcephfs is installed
--enable-cephfs
Build with cephfs support (default=yes)
--enable-ceph-reclock

这个可以知道需要添加ceph-reclock的支持就添加这个选项,我们把这个选项添加到samba.spec当中
修改samba.spec文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

%configure \
--enable-fhs \
--with-piddir=/run \
--with-sockets-dir=/run/samba \
--with-modulesdir=%{_libdir}/samba \
--with-pammodulesdir=%{_libdir}/security \
--with-lockdir=/var/lib/samba/lock \
--with-statedir=/var/lib/samba \
--with-cachedir=/var/lib/samba \
--disable-rpath-install \
--with-shared-modules=%{_samba4_modules} \
--bundled-libraries=%{_samba4_libraries} \
--with-pam \
--with-pie \
--with-relro \
--enable-ceph-reclock \
--without-fam \

%dir %{_libexecdir}/ctdb
%{_libexecdir}/ctdb/ctdb_event
%{_libexecdir}/ctdb/ctdb_eventd
%{_libexecdir}/ctdb/ctdb_killtcp
%{_libexecdir}/ctdb/ctdb_lock_helper
%{_libexecdir}/ctdb/ctdb_lvs
%{_libexecdir}/ctdb/ctdb_mutex_fcntl_helper
%{_libexecdir}/ctdb/ctdb_mutex_ceph_rados_helper

%{_mandir}/man1/ctdb.1.gz
%{_mandir}/man1/ctdb_diagnostics.1.gz
%{_mandir}/man1/ctdbd.1.gz
%{_mandir}/man1/onnode.1.gz
%{_mandir}/man1/ltdbtool.1.gz
%{_mandir}/man1/ping_pong.1.gz
%{_mandir}/man7/ctdb_mutex_ceph_rados_helper.7.gz
%{_mandir}/man1/ctdbd_wrapper.1.gz

这个文件当中一共添加了三行内容

1
2
3
--enable-ceph-reclock \
%{_libexecdir}/ctdb/ctdb_mutex_ceph_rados_helper
%{_mandir}/man7/ctdb_mutex_ceph_rados_helper.7.gz

把解压后的目录里面的所有文件都拷贝到源码编译目录,就是上面ls列出的那些文件,以及修改好的samba.spec文件都一起拷贝过去

1
[root@customos myctdb]# cp -ra * /root/rpmbuild/SOURCES/

安装librados2的devel包

1
[root@customos myctdb]# yum install librados2-devel

如果编译过程缺其他的依赖包就依次安装即可,这个可以通过解压源码先编译一次的方式来把依赖包找全,然后再打rpm包

开始编译rpm包

1
[root@customos myctdb]# rpmbuild -bb samba.spec

这个可以就在当前的目录执行即可

检查生成的包

1
2
3
[root@customos myctdb]# rpm -qpl /root/rpmbuild/RPMS/x86_64/ctdb-4.6.2-12.el7.centos.x86_64.rpm|grep rados
/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper
/usr/share/man/man7/ctdb_mutex_ceph_rados_helper.7.gz

可以看到已经生成了这个,把这个包拷贝到需要更新的机器上面

配置ctdb

首先要升级安装下新的ctdb包,因为名称有改变,会提示依赖问题,这里忽略依赖的问题

1
[root@customos ~]# rpm -Uvh ctdb-4.6.2-12.el7.centos.x86_64.rpm --nodeps

添加一个虚拟IP配置

1
2
[root@customos ~]# cat /etc/ctdb/public_addresses 
192.168.0.99/16 ens33

添加node配置

1
2
3
[root@customos ~]# cat /etc/ctdb/nodes 
192.168.0.18
192.168.0.201

修改配置文件

1
2
3
4
5
6
[root@customos ~]# cat /etc/ctdb/ctdbd.conf|grep -v "#"
CTDB_RECOVERY_LOCK="!/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper ceph client.admin rbd lockctdb"
CTDB_NODES=/etc/ctdb/nodes
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses
CTDB_LOGGING=file:/var/log/log.ctdb
# CTDB_DEBUGLEVEL=debug

上面为了调试,我开启了debug来查看重要的信息

CTDB_RECOVERY_LOCK=”!/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper ceph client.admin rbd lockctdb”

最重要的是这行配置文件规则是

1
2
3
4
5
CTDB_RECOVERY_LOCK="!/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper [Cluster] [User] [Pool] [Object]"
Cluster: Ceph cluster name (e.g. ceph)
User: Ceph cluster user name (e.g. client.admin)
Pool: Ceph RADOS pool name
Object: Ceph RADOS object name

在ctdb的机器上面准备好librados2和ceph配置文件,这个配置的rbd的lockctdb对象会由ctdb去生成

1
[root@customos ~]# systemctl restart ctdb

配置好了以后就可以启动进程了,上面的/etc/ctdb/ctdbd.conf配置文件最好是修改好一台机器的,然后scp到其它机器,里面内容有一点点偏差都会判断为异常的,所以最好是相同的配置文件

查看进程状态

1
2
3
4
5
6
7
8
9
10
[root@customos ceph]# ctdb status
Number of nodes:2
pnn:0 192.168.0.18 OK (THIS NODE)
pnn:1 192.168.0.201 OK
Generation:1662303628
Size:2
hash:0 lmaster:0
hash:1 lmaster:1
Recovery mode:NORMAL (0)
Recovery master:1

查看/var/log/log.ctdb日志

1
2
3
4
5
2018/01/06 23:18:11.399849 ctdb-recoverd[129134]: Node:1 was in recovery mode. Start recovery process
2018/01/06 23:18:11.399879 ctdb-recoverd[129134]: ../ctdb/server/ctdb_recoverd.c:1267 Starting do_recovery
2018/01/06 23:18:11.399903 ctdb-recoverd[129134]: Attempting to take recovery lock (!/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper ceph client.admin rbd lockctdb)
2018/01/06 23:18:11.400657 ctdb-recoverd[129134]: ../ctdb/server/ctdb_cluster_mutex.c:251 Created PIPE FD:17
2018/01/06 23:18:11.579865 ctdbd[129038]: ../ctdb/server/ctdb_daemon.c:907 client request 40 of type 7 length 72 from node 1 to 4026531841

日志中可以看到ctdb-recoverd已经是采用的ctdb_mutex_ceph_rados_helper来获取的recovery lock

停掉ctdb的进程,IP可以正常的切换,到这里,使用对象作为lock文件的功能就实现了,其他更多的ctdb的高级控制就不在这个里作过多的说明

总结

本篇是基于发行版本的ctdb包进行模块的加入重新发包,并且把配置做了一次实践,这个可以作为一个ctdb的方案之一,具体跟之前的方案相比切换时间可以改善多少,需要通过数据进行对比,这个进行测试即可

更新

上面的默认版本的ctdb存在的一个问题是主ctdb故障以后,锁不会释放,这个通过查询命令可以看到

1
2
[root@lab101 ~]# rados -p rbd lock info lockctdb ctdb_reclock_mutex
{"name":"ctdb_reclock_mutex","type":"exclusive","tag":"","lockers":[{"name":"client.34130","cookie":"ctdb_reclock_mutex","description":"CTDB recovery lock","expiration":"0.000000","addr":"192.168.0.101:54263"}]}

这里的expiration为0,也就是不会释放的

进行更新以后应该是这样的显示

1
2
[root@lab101 ~]# rados -p rbd lock info lockctdb ctdb_reclock_mutex
{"name":"ctdb_reclock_mutex","type":"exclusive","tag":"","lockers":[{"name":"client.34239","cookie":"ctdb_reclock_mutex","description":"CTDB recovery lock","expiration":"2019-11-04 16:22:18.119080","addr":"192.168.0.102:0/443078450"}]}

查询后,发现新版本已经对这个问题解决了

1
2
3
4
5
/*
* During failover it may take up to <lock duration> seconds before the
* newly elected recovery master can obtain the lock.
*/
#define CTDB_MUTEX_CEPH_LOCK_DURATION_SECS_DEFAULT 10

增加了一个锁超时的参数,默认为10s
这个需要自己替换一个文件

https://github.com/samba-team/samba/blob/v4-8-stable/ctdb/utils/ceph/ctdb_mutex_ceph_rados_helper.c

路径为ctdb/utils/ceph/ctdb_mutex_ceph_rados_helper.c
这个涉及的东西比较少,修改一个文件即可

1
2
[root@lab101 ~]# cat /etc/ctdb/ctdbd.conf 
CTDB_RECOVERY_LOCK="!/usr/libexec/ctdb/ctdb_mutex_ceph_rados_helper ceph client.admin rbd lockctdb 10"

实际上这里的上面的配置文件的参数也可以新增加一个参数进去,不加参数的就是默认为10s,如果需要调整就自己根据需要调整这个就可以了

修改好了以后重新进行一次打包即可

更新历史

why when
创建 2018-01-06
解决无法释放锁的问题 2019-11-04