rbd的数据在哪里

创建一个rbd

1
[root@mytest ~]# rbd create test1 --size 4000

查看rbd信息

1
2
3
4
5
6
[root@mytest ~]# rbd info test1
rbd image 'test1':
	size 4000 MB in 1000 objects
	order 22 (4096 kB objects)
	block_name_prefix: rb.0.fa6c.6b8b4567
	format: 1

可以看出是没写入真实数据的

1
2
[root@mytest ~]# ceph df|grep rbd
    rbd          0       133         0        30627M           2

查询rbd池里面的对象信息

1
2
3
[root@mytest ~]# rados ls -p rbd
test1.rbd
rbd_directory

查看下这两个对象的内容

1
2
3
[root@mytest ~]#rados -p rbd get test1.rbd test1rbd.txt
[root@mytest ~]# echo -e `cat test1rbd.txt`
<<< Rados Block Device Image >>> rb.0.fa6c.6b8b4567RBD001.005

这个是记录的rbd镜像的信息

1
2
3
[root@mytest ~]# rados -p rbd get rbd_directory rbddirectory.txt
[root@mytest ~]# echo -e `cat rbddirectory.txt`
test1

这个是记录的rbd的目录信息

rbd映射到本地

1
2
[root@mytest ~]# rbd map test1
/dev/rbd0

格式化rbd设备

1
2
3
4
5
6
7
8
9
10
11
12
[root@mytest ~]# mkfs.xfs /dev/rbd/rbd/test1 
log stripe unit (4194304 bytes) is too large (maximum is 256KiB)
log stripe unit adjusted to 32KiB
meta-data=/dev/rbd/rbd/test1     isize=256    agcount=9, agsize=126976 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=1024000, imaxpct=25
         =                       sunit=1024   swidth=1024 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=8 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

查看当前的rbd池里面的对象信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[root@mytest mnt]# rados -p rbd ls
rb.0.fa6c.6b8b4567.0000000001f0
rb.0.fa6c.6b8b4567.0000000001f1
rb.0.fa6c.6b8b4567.000000000174
test1.rbd
rb.0.fa6c.6b8b4567.0000000002e8
rb.0.fa6c.6b8b4567.0000000001f2
rbd_directory
rb.0.fa6c.6b8b4567.0000000000f8
rb.0.fa6c.6b8b4567.0000000003e0
rb.0.fa6c.6b8b4567.000000000000
rb.0.fa6c.6b8b4567.00000000007c
rb.0.fa6c.6b8b4567.0000000003e7
rb.0.fa6c.6b8b4567.00000000026c
rb.0.fa6c.6b8b4567.000000000001
rb.0.fa6c.6b8b4567.000000000364

可以看到格式化过程中写入了一些对象信息，这些应该是存储文件系统信息的，写入的对象，数据的写入的前缀是rb.0.fa6c.6b8b4567

查看对象数据在哪里

1
2
[root@mytest 0.1_head]# ceph osd map rbd rb.0.fa6c.6b8b4567.0000000001f0
osdmap e78 pool 'rbd' (0) object 'rb.0.fa6c.6b8b4567.0000000001f0' -> pg 0.1cdfe181 (0.1) -> up ([1], p1) acting ([1], p1)

可以查看到数据是在节点1的pg 0.1 里面

去节点一上查看

1
2
3
4
[root@mytest 0.1_head]# ll  /var/lib/ceph/osd/ceph-1/current/0.1_head/
total 4100
-rw-r--r-- 1 root root       0 Aug 10 14:02 __head_00000001__0
-rw-r--r-- 1 root root 4194304 Aug 23 12:36 rb.0.fa6c.6b8b4567.0000000001f0__head_1CDFE181__0

可以看到这个对象

上面的步骤实现的是:

  • 查看一个rbd image
  • 查看这个image 里面的包含的对象
  • 查看这个 rbd image的对象在哪个具体的磁盘上

无法实现的是查询文件系统之上的某个文件在哪里，这个在cephfs 文件系统接口中是有的