Linux 5.4 LVM RAW 设备 配置的深入研究

Redhat 平台对raw设备的配置在redhat 5之后有了变化。在redhat 5之前，直接配置/etc/sysconfig/rawdevices件，通过/etc/init.d/rawdevices来管理raw设备的启动和关闭。在Redhat 5之后，原来的raw设备接口已经取消了，redhat 5中通过udev规则进行配置。要配置，需要编辑/etc/udev/rules.d/60-raw.rules 这个文件。

先说明一下配置环境。用openfiler 模拟了存储，并将这些设备用iscsi挂到了服务器上。在openfiler存储上设置了三个3个target，用iscsi 连接到服务器。通过Multipath做了映射。

/dev/mapper

brw-rw---- 1 oracle oinstall 253,5 Nov 24 23:18 crsp5

brw-rw---- 1 oracle oinstall 253,6 Nov 24 23:18 crsp6

brw-rw---- 1 oracle oinstall 253,7 Nov 24 23:18 crsp7

brw-rw---- 1 oracle oinstall 253,8 Nov 24 23:18 crsp8

brw-rw---- 1 oracle oinstall 253,9 Nov 24 23:18 crsp9

关于openfiler 配置，iscsi，multipath的配置，参考如下文档：

openfiler 搭建虚拟存储并配置服务端

Multipath实现LUN设备名称的持久化

Redhat 5.4 + ASM + RAW+ Oracle 10g RAC 安装文档

一. 在60-raw.rules 文件中静态映射

我们先看一下60-raw.rules 文件：

[root@rac2 rules.d]# pwd

[root@rac2 rules.d]# vi 60-raw.rules

# An example would be:

# to bind /dev/raw/raw1 to /dev/sda, or-- 注意这里有个OR

根据这段提示内容，我们只需要配置一个就可以了。估计有很多人也是这么配置的，而且还没有配置成功。至少我测试的时候是这样。只有把这两句话都写上之后，才配置成功。当初很疑惑为什么需要这样。当初整理的文档：

Redhat 5 中裸设备(raw) 的配置

小研究了一下这个问题。我现在的理解如下：

在redhat 5中，是通过udev 来管理raw 设备的。那么udev 如何知道raw 设备，就是通过MAJOR 和MINOR。如果我们只写：

那么Udev 就无法识别出raw 设备，从而无法管理。也就无法挂载raw。只有指定了MAJOR 和MINOR 后才能进行管理。

但是又出来一个问题，我这里有5个分区需要映射，我指定了raw ，MAJOB和 MINOR 后， 5个分区并没有全部挂载，而是只挂载了2个raw。

后来改了一种方法，就是将raw 设备的挂载添加到/etc/rc.d/rc.local文件中，让raw开机自动挂载。这样udev 就能识别出raw设备并进行管理了。

这种方法的配置如下：

ACTION=="add", KERNEL=="raw[1-2]", OWNER="root", GROUP="oinstall", MODE="660"

ACTION=="add", KERNEL=="raw[3-5]", OWNER="oracle", GROUP="oinstall", MODE="660"

[root@rac2 rules.d]# cat /etc/rc.d/rc.local

-- 系统启动时挂载raw设备

这样设置之后，用start_udev命令重启udev 或者重启操作系统之后，RAW就能自动挂载，并且权限也修改了过来。

[root@rac2 rules.d]# ls -lrt /dev/raw/raw*

[root@rac2 rules.d]# raw -qa

说明：

Linux 4下做多可以绑定8192个裸设备。但是在linux下，最多只能有255个分区，所以，如果用裸设备绑定分区，最多只能绑定255个裸设备。如果是用lvm，则没有这个限制。

网上的一位兄弟也用了这种方法：

二. 在60-raw.rules 文件中动态映射

配置方法如下，KERNEL并不能直接获得设备名称或者主次设备号，我们需要通过dmsetup指令来间接获得。

2.1. 编辑90-dm.rules文件，注释掉里面的内容

2.2. 编辑60-raw.rules文件，加入下面几行

KERNEL!="dm-[0-9]*",GOTO="skip_dm" --如果不是dm设备，则直接跳到skip_dm

ACTION!="change", GOTO="skip_dm"--如果后面的指令返回为假（非0值），则跳到skip_dm

这里RESULT后面的名称是/dev/mapper下的lv的名称。或者sdb1之类的分区

ACTION=="add", KERNEL=="raw[1-2]", OWNER="root", GROUP="oinstall", MODE="660"

ACTION=="add", KERNEL=="raw[3-5]", OWNER="oracle", GROUP="oinstall", MODE="660"

2.3. 重启UDEV

2.4. 查看结果

注意，这里权限并没有改变过来，所以，我们还是将权限修改添加到/etc/rc.d/rc.local 中。

[root@rac1 ~]# cat /etc/rc.d/rc.local

chown root.oinstall /dev/raw/raw[1-2]

重启操作系统后查看权限：

[root@rac1 ~]# ls -lrt /dev/raw/raw*

2.5 扩展

这种方法有灵活性，它将挂载写到了规则了。这里只有5个raw设备，如果有几百个的话，这样挂载就非常麻烦了。我们可以通过脚本来实现。

RESULT=="crsp[0-9]*",RUN+="/bin/raw /dev/raw/raw$(MINOR) $MAJOR $MINOR"

这里通过次设备号来作为裸设备的编号依次映射。

但是这里这里有个bug，我们无法对raw0这样的设备进行映射，而大部分情况是，第一个LV对应的MINOR恰好是0。在这种情况下，我们可以每次给MINOR+1来作为裸设备的编号。如：

RESULT=="crsp[0-9]*",RUN+="/bin/raw /dev/raw/raw$((MINOR+1)) $MAJOR $MINOR"

看上去很美好，很遗憾，我在Asianux 3.0 SP2,Centos 5.4版本上均没有成功。所以我采取了下面折衷的办法：

RESULT=="crsp[0-9]*",RUN+="/bin/sh -c 'if [ $MINOR -eq 0 ]; then /bin/raw /dev/raw/raw200 $MAJOR $MINOR; else /bin/raw /dev/raw/raw$MINOR $MAJOR$MINOR;fi'"

保存文件，重启udev: start_udev:

[root@rac1 rules.d]# raw -qa

这里的做法是如果次设备号是0的话，我们尽可能把他映射到裸设备编号靠后的设备，这里采取的是200。如果你需要映射的设备操作超过200的话，在把这个数字往后改。

注意，这种方法的权限依然需要在/etc/rc.d/rc.local 文件中赋权。

取消raw 映射

小结：

上面讲了在Redhat 5下映射raw的两种方法。第一种是先在rc.local 做映射，在用udev进行管理。第二种是在60-raw.rules中做映射，但是权限还是要在rc.local 做赋权。两种方法倒了过来。如果raw 设备较多的话，用第二种方法要简单一点。

总之，我对REDHAT 5.4 下raw 的理解是：要先有major 和minor 号之后，udev 才能管理Raw 设备。

-- 2011年11月30日补充

在Oracle 找到了一篇redhat 5下raw 配置的文章，可以参考。

--转自