作为一个集群系统，节点之间要经常合作，不时的散布和收集负载信息，获取其它节点的情况。另外，我们也已经看到，在MOSIX中，一个迁移进程实际上是由deputy和remote两部分组成的。Deputy和remote是两个单独的进程，分别位于不同的节点，但在逻辑上，它们却是看出一个独立的进程的。它们之间经常要通过频繁的通讯来合作。因此，通信机制是至关重要的。MOSIX提供了一个连接层抽象（linker layer），在套接字接口之上封装了一层，提供了一系列类似BSD SOCKET的接口函数用于在进程间接收和发送MOSIX相关数据的。MOSIX连接是位于内核中的，对用户态进程是不可见的。
作为一个集群系统，MOSIX中的每个节点都被分配一个唯一的节点号，节点号是一个整型值，从1开始连续分配的。0表示的是当前节点。通过节点号抽象，可以很方便的定位某个节点。但是通过网络发送和接收数据，都是以IP地址来寻找节点的。因此，MOSIX系统提供了一系列函数用于在节点号和IP地址间的互相转换和匹配。每个节点在/etc/目录下都存在着一个配置文件mosix.map，保存着整个集群系统节点的IP地址信息。该文件的每一行都包含3个域，分别为节点范围的起始号，IP地址或主机名，该范围中的节点数目。例如某系统的配置文件如下：
1 172.26.4.138 1
2 172.26.4.139 2
4 MOSIX_4 1
机器MOSIX_4的IP为172.26.4.22。在这个系统中，节点1的IP为172.26.4.138。节点2，3的IP则分别为172.26.4.139，172.26.4.140。节点4的IP则为172.26.4.22。
数据结构
struct mosix_link表示一条MOSIX连接，它维持着该连接的状态和一些控制信息。定义如下：
struct mosix_link {
struct socket *sock; /* 套接字控制结构，用于通讯，通过它进行实际的网络操作*/
int flags; /* 状态标志 */
int dlen; /*悬挂数据的长度 */
int peer; /* 连接另一端的节点号*/
char *hideptr; /*指向当前隐藏数据的指针*/
char *hidebuf; /*指向隐藏数据缓冲区起始地址的指针 */
int hidelen; /* 隐藏数据的长度*/
char head[COMM_DEF_HEADSIZE]; /* 存放着消息头*/
};
struct comm_header {消息格式
unsigned short olen;//Option data length--
unsigned short hlen;
int type;
int dlen;
int regs;
int dfsalen;
};
#define COMM_HLEN (sizeof(struct comm_header))
MOSIX中，每个进程的控制块中都保持着一条MOSIX连接contact（struct mosix_link *contact），用于deputy和remote之间的通讯。进程的remote部分可以在节点间多次迁移，但是deputy总能根据它的contact连接来定位remote部分；remote也能根据它的contact连接和deputy部分通讯合作。对于未迁移的进程，contact总是为NULL。
回页首
MOSIX连接层接口
MOSIX连接层提供了一系列接口用于集群间进程之间互相发送和接收数据。从这些接口的名字上，我们就很容易判断出它们的功能。
- comm_open()：为MOSIX 通讯打开一条连接 mosix_link * comm_open(int mos, mosix_addr *maddr, unsigned long timo) 如果mos > 0，则连接到第#mos号节点上的迁移守护进程。 如果mos = COMM_TOADDR，则连接maddr->saddr中给定的地址。 如果mos = COMM_ACCEPT，则打开一个SOCKET，并且可以接受连接。 如果mos = COMM_MIGD，则为迁移守护进程设置SOCKET。 如果mos = COMM_INFOD，则为信息守护进程设置SOCKET。 如果mos = COMM_LOOSE，则允许连接多个守护进程。
- comm_use() ：为进程设置新的连接并返回旧的连接 mosix_link *comm_use(struct task_struct *p, mosix_link *mlink) 进程p将使用mlink连接进行通讯。
- comm_close()：关闭Mosix通讯连接 void comm_close(mosix_link *mlink) 调用comm_shutdown(mlink)关闭对连接的写入，然后通过sock_release(mlink->sock)释放该连接上的套接字。
- comm_accept() ：在Mosix通讯套接字上接受连接 int comm_accept(mosix_link *ml, mosix_link **mlp, mosix_addr *ma, unsigned long t) 接受建立连接请求，mlp指向建立的新连接，连接的另一端的地址保存在ma中。
- comm_waitaccept() ：在Mosix通讯套接字上接受连接 static int comm_waitaccept()comm_waitaccept()调用comm_accept接收连接请求并建立一条新的连接，然后comm_use这条新的连接并关闭旧的连接。
- comm_send() ：发送一条消息 (head + data) int comm_send(int type, void *head, int hlen, void *data, int dlen, int uspace) 如果要发送的数据来自用户空间（uspace），且可能会导致远程page-fault（!dirty_all_remote_pages），则先把数据从用户空间拷入内核，然后检查地址范围的有效性（!ucache_ok）。 如果type & COMM_MFREGS或则type & COMM_MFIDENT，则分别通过comm_packregs(0, 0)和comm_packident(0)进行压缩，可能产生选项数据。 将数据按照消息格式组装起来，然后调用套接字操作集上的sendmsg操作将消息发送出去。
- comm_sendto() ：发送一个数据报 int comm_sendto(int mos, void *data, int len, mosix_link *mlink, mosix_addr *to) 通过mlink连接，发送len长的数据到to指明的地址，发送的数据在data中。 to指明目的地址，如果为空，则数据是发送给节点mos上的负载信息守护进程（INFO_DAEMON）。 调用套接字操作集上的sendmsg操作将消息发送到指定的地址。
- comm_dorecv() ：从连接中可靠的读取数据 int comm_dorecv(struct socket *sock, struct msghdr *msg, int len) 根据msg，通过调用套接字操作集上的recvmsg操作从网络连接上读取数据。它读的是字节流，并没有格式的。
- comm_recv() ：接收消息头 int comm_recv(void **headp, int *hlen) 如果当前进程的连接处于等待接受连接请求状态（COMM_WAITACCEPT），则等待直到接受请求。然后通过comm_dorecv（）接收消息头长度（COMM_HLEN）的数据，得到消息头的实际长度（hlen＋olen），然后准备空间存放消息头数据（comm_mkhead），再通过comm_dorecv（）接收实际的消息头数据，并根据其中的信息，调用不同的解压处理程序。因为为了减少传输的数据量，消息数据发送前都经过了压缩。 如果有数据COMM_MFDATA，则将数据长度保存在连接的数据长度中（mlink->dlen = header.dlen），这样，随后调用comm_copydata和comm_recvdata时，我们将知道应该能够从网络中读取多少数据。
- comm_copydata()：从消息中拷贝数据 int comm_copydata(void *data, int len, int uspace) 返回0表示成功。 从消息中拷贝长度为len的数据。读入的数据保存在data指向的buffer中。Uspace表明data是指向用户空间还是内核空间。成功时返回0。 如果要data指向用户空间（uspace），且会导致远程page-fault（!dirty_all_remote_pages），则返回内存不足错误。 如果连接中不存在数据，但是隐藏数据缓冲区不为空，则从隐藏数据缓冲区拷贝len长数据到data中。否则则通过comm_dorecv函数从网络中读取数据。
- comm_recvdata()：从连接中将所有数据读取到已分配缓冲区中/* int comm_recvdata(void **data) 返回0表示成功。 如果连接中存在隐藏数据（COMM_HIDEDATA），则data指向隐藏数据缓冲区，然后置连接的隐藏数据缓冲区为NULL。 否则，调用comm_malloc分配内存，通过comm_dorecv试图将连接所有的数据(mlink->dlen)都接收放入到其中。data将指向分配的内存缓冲区。
- comm_recvfrom()：接收数据报 int comm_recvfrom(void *data, int len, mosix_link *mlink, mosix_addr *from, unsigned long timo) 读取长为len的数据放在data中，from返回接收数据报的源地址。timo指明超时值，单位为微秒。返回接收数据的长度（ >0）或者错误。 调用套接字操作集上的recvmsg操作来接收数据，数据报的源地址返回在from中。如果接收到数据，则通过net_to_mos检查该源地址是否属于MOSIX节点。 如果不属于MOSIX节点，则comm_recvfrom()返回错误。
- comm_free() ：释放不再被使用的消息头或数据。 void comm_free(void *head) 如果当前进程的该连接是COMM_INFOLINK，则释放head，返回。 首先检查head是否超出连接消息头范围。如果head指向消息头的起始地址，则标记该消息头不再被使用（~COMM_HEADINUSE）。否则释放head所指的内存空间。
- comm_mkhead() ：准备指定大小的消息头空间 void *comm_mkhead(int hlen) 从内核中分配hlen大小的GFP_KERNEL内存空间，mlink->head指向分配的起始地址。
- comm_flushdata()：清空前一个消息剩余的数据 void comm_flushdata(int dlen) 如果当前连接是隐藏数据（mlink->flags & COMM_HIDEDATA），则从隐藏数据中flush长度为dlen的数据。否则，调用comm_dorecv从连接中读取长度为dlen的数据。
- comm_peek()：检查该连接是否有数据悬挂 int comm_peek(void) 调用套接字操作集上的poll函数来判断是否有数据悬挂。
- comm_poll()：等待直到有通讯事件、中断或MOSIX事件产生 int comm_poll(int mask, int interruptible, unsigned long timo) interruptible指明是否可以被中断，timeo设置等待超时时间。
- comm_wait() ：等待消息到达或者MOSIX事件产生 int comm_wait(void) 返回1表示消息到达，返回0则表示先产生了一个事件。
- comm_send_urgent()：使用紧急数据(OOB)发送事件通知 int comm_send_urgent(void) 紧急事件通知只能由代理发送。MOSIX中将OOB数据定为0xdb。它只发送一个字节的有效数据（0xdb），通过将msghdr的msg_flags标志位设置MSG_OOB|MSG_NOSIGNAL来表示紧急情况。
- comm_test_urgent()：检查是否悬挂了紧急数据(OOB) int comm_test_urgent(void) 通过设置MSG_OOB|MSG_PEEK|MSG_DONTWAIT|MSG_NOSIGNAL属性来调用套接字操作集上的recvmsg操作来接收数据。如果接收到的长度为1且等于0xdb，则表明悬挂了紧急数据。
- comm_take_urgent()：从流中取出悬挂的OOB数据，以免被转化为普通数据处理 void comm_take_urgent(void) 调用者必须确保流中没有其它的数据。
首先以MSG_OOB|MSG_DONTWAIT|MSG_NOSIGNAL属性读取一字节，判断是否有OOB数据，然后设置套接字SO_OOBINLINE选项为on，让带外数据保留在正常的输入队列中。然后调用套接字操作集上的recvmsg操作来读取这一个字节的带外数据。最后关闭套接字的SO_OOBINLINE选项。
当前位置：
论坛首页 »
自由讨论区 »
VMware, Unix及操作系统讨论区
»
发起投票
技术讨论
加好友
发消息
2011-9-5 11:28:28 |
赞(
操作
