vdsm on oVirt HOST depend multipathd but must manual modify blacklist in multipath.conf

oVirt支持NFS, GlusterFS, FC, iSCSI等存储方式, 所以对于HOST节点, 在加入oVirt后, 可能出现一点小问题, 某些设备变成了dm设备, 并且用以前的方式无法挂载了.

oVirt这么做的目的应该是配合FC和iSCSI的使用, 因为一般FC和iSCSI都可以用到多路径来获的链路冗余.

无法以原设备名挂载, 原因是vdsmd这个服务依赖multipathd服务.

[root@150 etc]# cd /etc/init.d/
[root@150 init.d]# grep -r multi *|less
vdsmd:NEEDED_SERVICES="multipathd rpcbind ntpd wdmd sanlock network libvirtd

同时oVirt修改的multipath.conf的配置有点问题, 需要修改一下. 在修改这个配置文件前, 我们可以手工将这些DM设备释放掉.

释放掉之后就可以使用了.

未释放前, 直接挂载会报错.
[root@150 /]# mount /dev/sdb1 /data01
mount: /dev/sdb1 already mounted or /data01 busy
[root@150 /]# mount /dev/sdd1 /data01
mount: /dev/sdd1 already mounted or /data01 busy

因为这几个设备已经在DM设备了
[root@150 rules.d]# multipath -ll
20050430000000000 dm-1 ATA,OCZ-REVODRIVE3
size=224G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 3:0:126:0 sdc 8:32 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
  `- 4:0:126:0 sdd 8:48 active ready running
360026b902fe2ce0018993f2f0c5734b3 dm-0 DELL,PERC 6/i
size=186G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
  `- 0:2:1:0   sdb 8:16 active ready running

[root@150 rules.d]# dmsetup ls
20050430000000000       (253:1)
360026b902fe2ce0018993f2f0c5734b3       (253:0)
360026b902fe2ce0018993f2f0c5734b3p1     (253:3)
20050430000000000p1     (253:2)

移除这些DM设备
[root@150 rules.d]# dmsetup remove -f 20050430000000000p1

[root@150 rules.d]# multipath -ll
360026b902fe2ce0018993f2f0c5734b3 dm-0 DELL,PERC 6/i
size=186G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
  `- 0:2:1:0   sdb 8:16 active ready running

[root@150 rules.d]# dmsetup remove -f 360026b902fe2ce0018993f2f0c5734b3p1

现在可以加载了.
[root@150 rules.d]# mount /dev/sdb1 /data01
[root@150 rules.d]# mount /dev/sdd1 /data02

[root@150 ~]# e2label /dev/sdb1 sdb1
[root@150 ~]# e2label /dev/sdd1 sdd1
# vi /etc/fstab
LABEL=sdb1  /data01  ext4  defaults,noatime,nodiratime 0 0
LABEL=sdd1  /data02  ext4  defaults,noatime,nodiratime 0 0

如果要重启生效的话, 可以修改一些multipath.conf, 把不需要加入多路径的设备放到黑名单里面.

vi /etc/multipath.conf
blacklist {
         devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
         devnode "^hd[a-z]*"
         devnode "^sd[a-d]$"
}