获取docker的镜像的方法 背景需要下载一个mysql的docker的镜像,但是遇到了问题,这里把相关的方法记录下 问题123[root@lab103 data]# docker pull mysql:8.0Trying to pull repository docker.io/library/mysql ...Get https://registry-1.docker.io/v2/: net/http: request c 2024-09-23 系统管理 #docker
使用qemu构建一个loongarch64虚拟机 背景国产化的平台目前主要用到的有飞腾和龙芯,飞腾的是arm64架构,这个使用的比较多,龙芯的架构之前是mips架构,最新的硬件的架构已经发生了改变,现在是loongarch64架构,这个算比较新的架构,所以硬件就比较难获得,如果又有适配的需求,这个时候通过虚拟机启动环境是一个比较好的方式 虚拟机有两种方式: 一种是在相同架构下开虚拟机,这个比较简单,一般的操作系统内都带了kvm的相关的软件,直接 2024-09-11 系统管理 #虚拟化
ceph-radosgw配置bucket的policy 背景ceph通过radosgw对外提供了s3功能,这个能够提供一个s3接口供外部使用,s3的功能选项很多,本篇记录的是policy的功能配置 配置方法配置policy可以通过s3cmd,或者windows的s3客户端都可以,这里我们使用s3cmd进行配置 安装配置s3cmd下载客户端 1[root@lab101 ceph]# yum install s3cmd 配置s3cmd 123456789 2024-09-05 存储相关 #ceph
questdb在opencloudos下的打包总结 背景最近看到opencloudos社区有一些公开的任务可以做,尝试了做其中的一个打包的任务,整个任务的执行周期超过预期,但是中间还是掌握了一些新的东西本篇文章就是总结这些新的知识点 具体过程打包环境问题以前的打包经验是从官网找到source的rpm包,然后本地解压,然后对着spec文件进行rpmbuild -bb即可生成当前系统的包但是这个环境是需要使用mock跑一遍的,这个之前确实没接触过,只是 2024-08-28
海量文件的rsync同步方案 背景如果一个环境需要对文件系统进行系统备份,文件系统内的文件数目是10亿级别的,那么直接通过一个rsync进行同步肯定是不太好的,如果出现中断,那么再次启动后的遍历的时间成本太高了 分析rsync的同步原理是,启动同步的时候,会对源端进行一个全量的扫描,构建一个incremental file list,然后开始同步,如果是系统本地的目录进行同步我们可以看到三个进程一个是生成器,一个是发送方,一个 2024-08-23 存储相关 #数据管理
定位读写的扇区的编号 背景最近有碰到扇区的错误,引起osd的无法启动,经过处理,系统可以恢复了,但是扇区的错误为什么导致了osd down,怎么去模拟这个删除的问题,就需要做一些定位的工作了 我们需要模拟扇区的问题,就需要去精确的模拟到损坏的扇区,也就是比如我需要模拟某个文件的扇区损坏,那么就需要定位到这个文件属于哪些扇区 方法定位扇区通过blktrace进行模拟,这个操作是去读取文件就行,”C”是完成的请求,下面是过 2024-08-19 问题处理 #存储相关
udp服务器和客户端 需求背景线上的项目有使用lvs作为端口转发,使用的是udp的端口转发服务,想在测试环境下面模拟一个高并发的udp的服务器和客户端的环境,现成的没有相关的软件,那么就用两个脚本进行实现 要实现这个服务,需要准备一个服务端的脚本,和客户端的脚本,服务端使用用本地文件对外提供服务,客户端请求数据流并保存到本地 需求分析考虑高并发,所以需要对软件进行一下限速,然后尽量高的并发的,一个端口响应一个请求,并发 2024-08-14 系统服务 #测试相关
限制rbd只能在一台机器上面挂载 需求rbd是ceph的块接口,我们可以把设备map到服务器上面,然后当磁盘进行访问,有的软件能够基于块设备再做上层的高可用的写入的,所以,从软件来说,同一个设备在两台机器同时挂载,没有什么问题,但是如果应用层不加锁,随意的写入就可能破坏了数据,造成磁盘无法访问,那么这里就是利用ceph本身的功能来实现排它的挂载 也就是同一时刻,同一个rbd,只能被一个设备挂载 配置查看rbd的属性 1234567 2024-07-01 存储相关 #ceph
利用Clonezilla进行windows的系统复制 需求之前利用傲梅轻松备份这个软件做过系统复制,这个是需要运行在windows下面的,可以利用winpe运行,然后进行系统复制,需要手动点击操作,而在需要自动化的场景,这个就不太适合了,那么有一款软件Clonezilla,这个复制的系统启动正常 使用方式官方提供了iso的和zip文件的两种方式的,iso的可以直接启动的,然后进行系统的复制,而zip里面包括一个完整的系统,可以在ipxe环境下使用,本 2024-06-27 操作系统 #windows
rbd做快照克隆以后的容量相关问题 背景rbd的做快照,然后克隆,原始设备可以变成两个设备供客户端使用,占用的空间为1份,这个是在没有新写入情况下的容量占用情况那么如果有新写入的的数据之后,这个地方容量是怎么去看的,以及在出现写入又删除的情况下,rbd的实际占用空间又是如何释放的 相关测试操作快照后的容量占用我们先准备一个rbd的设备,并且格式化为ntfs的文件系统,然后写入一个大文件为2.4G的我们看下容量占用情况 1234567 2024-06-26 存储相关 #ceph