Cephfs 操作输出到日志查询系统

前言

文件系统当中如果某些文件不见了，有什么办法判断是删除了还是自己不见了，这个就需要去日志里面定位了，通常情况下是去翻日志，而日志是会进行压缩的，并且查找起来非常的不方便,还有可能并没有开启

这个时候就需要日志系统了，最近正好看到一篇最佳日志实践（v2.0），一篇非常好的文章，本篇日志属于文章里面所提到的统计日志，统计客户端做了什么操作

对于日志系统来说，很重要的一点，能够很方便的进行查询，这就需要对日志信息进行一些处理了，怎么处理就是设计问题，要求就是不多不少

结构

mdslogsystem.png-32.4kB

其中graylog配置部分在这篇使用日志系统graylog获取Ceph集群状态，根据这篇的操作，配置出12201的udp监听端口即可，剩余部分就是本篇中的配置

配置

集群的配置

需要对MDS的配置进行debug_ms=1,在/etc/ceph/ceph.conf当中添加下面配置

1
2
3
[mds.lab8106]
debug_ms=1
hostname=lab8106

这个地方集群的文件操作日志是记录在message里面的1级别的，所以把mds的debug_ms开到1
日志长这个样子：

1
2017-07-13 11:26:23.703624 7fc3128c3700  1 -- 192.168.8.106:6804/3280969928 <== client.14180 192.168.8.106:0/1092795882 2384 ==== client_request(client.14180:2346 mkdir #1/ppop 2017-07-13 11:26:23.702532 caller_uid=0, caller_gid=0{}) v2 ==== 170+0+0 (843685338 0 0) 0x5645ec243600 con 0x5645ec247000

下面会对这个日志进行提取

下载logstash

1
https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.rpm
1
[root@lab8106 ~]# rpm -ivh logstash-5.5.0.rpm

修改启动进程为root权限
修改/etc/systemd/system/logstash.service文件当中的

1
2
User=root
Group=root

因为logstash需要本地文件的读取权限，这里是为了方便直接给的root权限，方便使用，如果对权限要求比较严的环境，就给文件

创建一个配置文件

1
vim /etc/logstash/conf.d/logstash.conf

添加下面的配置文件，这个配置文件包含的内容比较多，会在后面详细的介绍下处理过程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
input {
    file {
    path => "/var/log/ceph/ceph-mds.*.log"
    }
}

filter {
    grok {
     match =>{"message" => "%{TIMESTAMP_ISO8601:logtime} %{BASE16FLOAT}  %{BASE10NUM} -- %{HOSTPORT:mdsip}%{NOTSPACE} <== %{NOTSPACE:clientid} %{IP:clientip}%{NOTSPACE} %{INT} ==== client_request\(%{NOTSPACE} %{WORD:do} %{NOTSPACE:where} %{TIMES
TAMP_ISO8601:dotime}%{GREEDYDATA}"}
    overwrite => ["message"]
    remove_field =>["logtime"]
    }

    if ![dotime] {
        drop {}
    }
    if [do] == "mkdir" {
        mutate {
        replace => { "do" => "创建目录"}
        }
    }
    if [do] == "create" {
        mutate {
        replace => { "do" => "创建文件"}
        }
    }
    if [do] == "unlink" {
        mutate {
        replace => { "do" => "删除文件(或链接)"}
        }
    }
    if [do] == "rmdir" {
        mutate {
        replace => { "do" => "删除目录"}
        }
    }
    if [do] == "rename" {
        mutate {
        replace => { "do" => "重命名"}
        }
    }
    if [do] == "symlink" {
        mutate {
        replace => { "do" => "链接"}
        }
    }

    mutate {
        replace => { "message" => "time:%{dotime} ClientIp:%{clientip}  ClintId:%{clientid}  MdsIp: %{mdsip} do:%{do} where:%{where}"}
    }
    date {
        match => [ "dotime", "yyyy-MM-dd HH:mm:ss.SSSSSS"]
        target => "@timestamp"
    }
}

output {
    gelf {
        host => "192.168.8.106"
    }

    stdout { codec => json_lines}
}

处理后的日志是这个样子：

{“path”:”/var/log/ceph/ceph-mds.lab8106.log”,”@timestamp”:”2017-07-13T04:01:01.251Z”,”clientid”:”client.14180”,”clientip”:”192.168.8.106”,”@version”:”1”,”host”:”lab8106”,”where”:”#1/test1”,”do”:”创建目录”,”message”:”time:2017-07-13 12:01:01.251358 ClientIp:192.168.8.106 ClintId:client.14180 MdsIp: 192.168.8.106:6804 do:创建目录 where:#1/test1”,”mdsip”:”192.168.8.106:6804”,”dotime”:”2017-07-13 12:01:01.251358”}

是一个json形式的，可以根据自己的需要增加减少字段，这些信息都会传递到graylog当中

解析配置文件

logstash配置文件的结构包括三个大模块：

  • input
  • filter
  • output

input是文件的来源，也就是我们需要解析的日志，filter是处理日志的模块，output是输出的模块，这里我们需要使用的是gelf的输出模式，在本地进行调试的时候，可以开启stdout来进行调试

采用grok进行正则匹配，这个里面的匹配正则可以用 http://grokconstructor.appspot.com/do/construction 这个进行正则表达式的验证和书写，可以一步步的进行匹配，还是很方便的工具

output输出gelf的信息流

grok内部解析

  • remove_field可以用来删除无用的字段
  • if ![dotime] 这个是用来过滤消息的，如果没拿到这个值，也就是没匹配上的时候，就把消息丢弃
  • 使用mutate replace模块来进行字段的替换，将固定操作转换为中文
  • 使用mutate replace模块来重写message，根据自己定义的格式进行输出
  • 使用date 模块进行@timestamp的重写，将日志内的时间写入到这个里面

查询插件

1
/usr/share/logstash/bin/logstash-plugin list

logstash-output-gelf默认没有安装的,需要安装一下

1
/usr/share/logstash/bin/logstash-plugin install logstash-output-gelf

这个安装可能有点慢，稍微多等一下

调试方式的启动

1
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf

如果调试完毕了后就用系统命令启动

1
[root@lab8106 ~]# systemctl restart logstash

graylogfs.png-188.3kB

通过graylog系统就可以很方便的看到日志里面节获取的内容了

总结

对于一套系统来说，日志系统是一个很重要的组成部分，可以更好的掌握系统内部的运行情况，并不是说出了问题再去找日志，这个日志的需求来源其实很简单

哪个客户端对着哪个MDS做了一个什么操作

然后就可以用这个搜索引擎去进行相关的搜索了，可以查询一段时间创建了多少文件，是不是删除了哪个文件

本次实践的难点在于logstash对日志的相关解析的操作，掌握了方法以后，对于其他日志的提取也可以用类似的方法，提取自己需要的信息，然后进行整合，输出到一个系统当中，剩下的就是在界面上获取信息

变更记录

Why Who When
创建 武汉-运维-磨渣 2017-07-13