工作地点武汉 深圳 岗位要求说明存储后台开发负责ceph，gluster等存储系统相关的模块开发，对相关的存储系统社区开发进展熟悉，能够独立进行backport熟悉存储系统之上的一些文件系统，nfs，samba，iscsi等等熟悉C语言 内核相关的开发熟悉ceph内核客户端相关的模块，能够对内核模块进行相关的开发或者集成功能，能够对高版本的功能进行低版本的适配能够对内核进行一定程度的内核调优熟悉C语言 存储管理系统的中间件开发熟悉对存储系统的一些运维相关的操作，能够进行存储管理系统中间系统的开发，对外提供api接口进行相关的管理熟悉python 存储管理系统的界面开发熟悉存储系统的管理，能够开发相关的管理界面熟悉web开发相关的语言 存储系统的运维熟悉存储系统的后台，能够定位并解决存储系统的相关的问题 存储系统的测试熟悉存储系统的测试 工作说明公司内的平台较多，国产化，arm等平台都在内部有相关的硬件，能够接触到最新的一些硬件平台公司岗位自由，上面的岗位可根据自己情况自由调整 薪资标准薪水与能力匹配即可，未做过多限制 联系方式QQ：199383004邮件：19&#x ...

前言做recover会触发阻塞，引起前端的IO卡住，可以通过参数避免这个情况 调整参数12345# the number of entries to keep in the pg log when trimming it. Defaults to 3000.osd_min_pg_log_entries = 1# the max entries, say when degraded, before we trim. Defaults to 10000.osd_max_pg_log_entries = 2 是否需要做backfill是通过pg log判断的，可以通过调整上面的参数来强制做backfill

软件介绍软件的名称为LSI MegaRAID Storage Manager，很多厂商都会提供，本篇是从broadcom进行的下载，有的厂商也是直接跳转到这个网站的，比如华为的服务器，这里从这里下载就可以了 下载直接用下面的地址 https://www.broadcom.com/site-search?filters[pages][Content_Type][type]=and&filters[pages][Content_Type][values][]=Downloads&page=1&per_page=10&q=LSI%20MegaRAID%20Storage%20Manager 或者进入官网https://www.broadcom.com/搜索 LSI MegaRAID Storage Manager分类里面选择download然后有windows和linux的都下载下来提前下好，放网盘了 链接: https://pan.baidu.com/s/1XJ4MhQ6xsBM0H4SjdCHHNg 密码: isti 使用方法这个分为服务端和控制端， ...

目的清理环境所有的数据，删除并恢复到初始状态 脚本123456789101112131415161718#! /bin/shfor host in lab101 lab102dossh $host hostnamessh $host systemctl stop ceph-radosgw.targetssh $host systemctl stop ceph-osd.targetssh $host systemctl stop ceph-mgr.targetssh $host systemctl stop ceph-mon.targetssh $host "for vgname in \`vgs --separator : --noheadings --units k --unbuffered --nosuffix --options 'vg_name'|grep ceph\`;do echo \$vgname;vgremove -y \$vgname;done;"ssh $host "for osddir in \`df -h|gr ...

前言如果测试数据是很大量的数据，并且是基于时间变化的，需要做成一个横轴为时间，纵轴为数值的可视化，这个有很多方法比如用excel做成图表形式的或者用powerbi或者其它软件做成波形图但是找了几个软件都没有想要的效果，grafana那种又太重了，需要配置很多东西，所以这里自己实现了一个简单但是实用的数据分析网页 架构首先是原始数据，这里需要对原始数据进行处理，把数据处理成时间，数值的csv文件格式的，数量可以很多也没关系支持通过网页导入，因为测试可能是多轮的，或者多个数据的，所以为了方便，是支持网页直接倒入的网页是通过命令行启动的，不需要第三方的web服务器，所有的东西都维护在一个目录内，我们看下我们的效果 使用过程以ceph.log为例，我们拿到的是原始打包好的数据 123456[root@lab101 data]# ll总用量 27228-rw------- 1 root root 1230784 1月 18 18:28 ceph.log-20210115.gz-rw------- 1 root root 1253789 1月 18 18:28 ceph.log-2021011 ...

前言公网的云机器配置最小配置也要100左右一年，然后带宽也特别贵，默认最小配置只提供1M带宽，之前需要远程都是通过frp穿透，使用公网机器作为中转机器，如果只用命令行还好，碰到需要传输数据，那1M带宽使用起来就特别的卡了 而家里面的宽带是100M+的，公司的网络也很难给个人提供到这么大的带宽，所以可以利用家里的宽带构建个人的公网环境，家庭网络建议不要提供对外的服务，否则可能直接关网的，自己用不违法，没什么问题 如何构建自己的公网环境以前的网络上网方式是通过路由器进行拨号，然后共享给内网机器进行共享网络，直接在路由器上面做DMZ主机或者做端口映射就可以做一些工作了，现在都是光纤网络了，到光猫的IP地址实际上是内网地址了，所以需要做下面的一些工作 打电话给10000打电话给10000的客服，说自己需要一个公网的IP，然后客服就会生成工单，安排一个师傅在后台操作下，过几分钟以后你查询你本地的公网IP就是可以ping通的 换光猫上面的操作以后，只是光猫得到一个公网的IP，但是还是没法到内网来，这个实际上是出厂的时候运营商要求光猫厂商把管理员模式关闭了，去淘宝买一个100多的光猫，这个默认开放了 ...

前言本片记录一些常用的软件，方便后续使用 软件windows远程桌面连接软件由于有些操作需要连接到windows上面做，所以需要能够方便的连接windows的电脑，所以需要一个windows的远程连接软件 royal tsx这个软件可以连接ssh，ftp，rdp等协议，但是免费版只能连10个，这个对于我来说太少了 Microsoft Remote Desktop 10.5.0（1841）这个是微软自己出的mac下面的远程连接软件 IPMI连接软件安装java安装xquartz(https://www.xquartz.org/releases/index.html)(解决黑屏)安装firefox（只有firefox可以打开下载java的启动文件）打开后会被拦截，去隐私里面二次打开即可 linux shell连接软件iterm2需要做一些简单的设置 1、调整Title为profile名称 2、调整背景颜色021a1e 3、使用ssh-copy-id保存到本地，然后配置profile里面用command做ssh连接脚本就可以免密登陆了 4、终端不想显示中文就在profile里面的Te ...

前言服务器上面全天的负载可能存在不同，现在需要知道，之前环境上面负载的情况怎么样如果没做监控工具情况下，想看历史数据，这个就需要用到sar的历史记录了 方法通过对sar的历史数据的读取可以查看整个服务器上面的io之和，虽然不能精确到每个磁盘，但是也能够反应一定的磁盘的负载情况 1234567891011121314sar -b -f /var/log/sa/sa05[root@node101 zp]# sar -b -f /var/log/sa/sa0512:00:01 AM tps rtps wtps bread/s bwrtn/s12:10:01 AM 4578.54 3889.63 688.90 1153527.13 158204.9412:20:01 AM 4691.51 3983.55 707.96 1245905.96 149193.8812:30:02 AM 4408.08 3704.57 703.51 1180006.65 162309.0012:40:01 AM 9830.09 ...

说明本篇记录一些字符串的处理方法，这里不具体讲完整的方法，只记录遇到的需要处理的情况 用例用例一：解析ceph.log的ops由于ops的单位是有的带k的有的不带k的，那么需要匹配处理 字符串示例： 12021-01-13 11:09:55.664479 mgr.node103 client.994548 172.168.30.103:0/265828031 659839 : cluster [DBG] pgmap v218541: 6976 pgs: 6976 active+clean; 178TiB data, 358TiB used, 370TiB / 728TiB avail; 11.4MiB/s rd, 163MiB/s wr, 1.98kop/s 1234567891011cat ceph-20210113 |grep -v noout|awk '{gsub("op/s","",$28); print $1,$2,$28}'|awk '{if($3~/k/) {gs ...