配置Ceph的IPV6集群

前言

对于IPV6实在是非常的陌生,所以本篇开始会讲一下最基本的网络配置,首先让网络能通起来,最开始就是因为不熟悉IPV6,而直接使用了link local地址,造成了mon部署的时候进程无法绑定到IP,从而端口没有启动,这个是在ceph社区群友 ceph-长沙-柠檬 同学的帮助下才发现问题的

IPV6是会有个link local地址的,在一个接口可以配置很多IPv6地址,所以学习路由就有可能出现很多下一跳。所以出现Link Local地址唯一标识一个节点。在本地链路看到下一跳都是对端的Link Local地址。这个地址一般是以fe80开头的,子网掩码为64,这个地方需要给机器配置一个唯一的全局单播地址

However, with IPv6, all (IPv6) interfaces will have a link local address. This address is intended to allow communications over the attached links and so is defined to be usable only on that link.

网络配置

linux下用默认的网卡配置文件

1
2
3
4
5
6
7
8
9
[root@node1 ceph]# ifconfig 
eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.0.46 netmask 255.255.0.0 broadcast 192.168.255.255
inet6 fe80::20c:29ff:fec5:5a4b prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:c5:5a:4b txqueuelen 1000 (Ethernet)
RX packets 18422 bytes 1254119 (1.1 MiB)
RX errors 0 dropped 6 overruns 0 frame 0
TX packets 1938 bytes 890164 (869.3 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

取消NetworkManager管理

1
2
3
systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl restart network

以免NetworkManager的干扰

这个地方我没有做自定义的IPV6的设置,让其默认的生成的地方,可以看到上面的node1的link local地址地址为 fe80::20c:29ff:fec5:5a4b
我的另外一台的地址为 fe80::20c:29ff:feda:6849

node1 fe80::20c:29ff:fec5:5a4b prefixlen 64

node2 fe80::20c:29ff:feda:6849 prefixlen 64

这个地方都是没有单播地址的,需要配置一个

配置的时候关闭掉ipv4的IP,防止影响,确认配置的就是ipv6环境,去掉IPv4的配置即可,我的网卡配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
NM_CONTROLLED=no
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6ADDR=2008:20c:20c:20c:20c:29ff:fec5:5a4b/64
IPV6_AUTOCONF=no
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
NAME="eno16777736"
UUID="0146f40c-6f4d-4c63-a9cd-7f89264613f3"
DEVICE="eno16777736"
ONBOOT="yes"

检查配置情况

1
2
3
4
5
6
7
8
9
[root@node1 ceph]# ifconfig 
eno16777736: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet6 fe80::20c:29ff:fec5:5a4b prefixlen 64 scopeid 0x20<link>
inet6 2008:20c:20c:20c:20c:29ff:fec5:5a4b prefixlen 64 scopeid 0x0<global>
ether 00:0c:29:c5:5a:4b txqueuelen 1000 (Ethernet)
RX packets 9133 bytes 597664 (583.6 KiB)
RX errors 0 dropped 1 overruns 0 frame 0
TX packets 466 bytes 137983 (134.7 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

可以看到有两个inet6这样就是对的了

windows远程ssh连接的方式:ssh 2008:20c:20c:20c:20c:29ff:fec5:5a4b

配置hosts

在配置文件/etc/hosts中添加如下内容

1
2
2008:20c:20c:20c:20c:29ff:fec5:5a4b node1
2008:20c:20c:20c:20c:29ff:feda:6849 node2

检测是否连通

1
[root@node1 ~]# ping6 -I eno16777736 2008:20c:20c:20c:20c:29ff:feda:6849

ping主机名称

1
[root@node1 ~]# ping6 -I eno16777736 node2

注意ping6需要加上网卡名称

同样的操作在node2上也配置好,网络到这里就配置好了

集群配置

创建初始配置文件

1
2
3
4
5
6
7
8
9
10
[root@node1 ceph]# ceph-deploy new node1
[root@node1 ceph]# cat ceph.conf
[global]
fsid = f0bf4130-f4f0-4214-8b98-67103ad55d65
ms_bind_ipv6 = true
mon_initial_members = node1
mon_host = [2008:20c:20c:20c:20c:29ff:fec5:5a4b]
auth_cluster_required =cephx
auth_service_required = cephx
auth_client_required = cephx

创建mon

1
[root@node1 ceph]# ceph-deploy mon create node1

检查状态

1
2
3
4
5
6
7
8
9
10
[root@node1 ceph]# ceph -s
cluster d2882f75-1209-4667-bef8-3051c84cb83c
health HEALTH_ERR
no osds
monmap e1: 1 mons at {node1=[2008:20c:20c:20c:20c:29ff:fec5:5a4b]:6789/0}
election epoch 3, quorum 0 node1
osdmap e8: 0 osds: 0 up, 0 in
flags sortbitwise
pgmap v2664: 0 pgs, 0 pools, 0 bytes data, 0 objects
0 kB used, 0 kB / 0 kB avail

检查端口

1
2
3
4
[root@node1 ceph]# netstat -tunlp|grep tcp6
tcp6 0 0 :::22 :::* LISTEN 1155/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1294/master
tcp6 0 0 2008:20c:20c:20c:2:6789 :::* LISTEN 8997/ceph-mon

可以看到集群已经正确的监听在了ipv6上了,后续的操作跟普通的IPV4集群一样的

变更记录

Why Who When
创建 武汉-运维-磨渣 2016-10-17