网络控制代理在AIX服务器上文件句柄用尽,并且因为大量的任务经常重启
适用于:
EM网络控制:版本10gr2,IMB AIX 64位操作系统
症状表现:
网络代理在AIX服务器上每隔几天就出问题。有时候代理状态显示“File handles exhausted”,文件句柄用尽。进入到<AGENT_HOME>/bin目录,查看EM代理运行状态如下:
Agent Version : 10.2.0.5.0
OMS Version : 10.2.0.5.0
Proto Version : 10.2.0.5.0
........
.......
Total Megabytes of XML files uploaded so far : 190.63
Number of XML files pending upload : 0
Size of XML files pending upload(MB) : 0.00
Available disk space on upload filesystem : 74.52%
连接状态:文件句柄耗尽。上次试图心跳连接到OMS时间为:2009-06-19 11:22:32,上次成功心跳连接到OMS时间为:2009-06-19 03:00:52。代理已经运行。
改变:
如果代理运行在AIX上,在配置文件/etc/irs.conf已经配置了netgroup vas,并且问题就是内存/文件句柄溢出,那么你就遇到这种情况
导致原因:
这要归结于VAS 服务导致内存和文件句柄溢出。在询问IBM的技术支持之后,发现问题是因为VAS 服务导致内存和文件句柄的溢出。
诊断:
在AIX动态加载网络组接口,有一个init 和 de-init请求。一个长期存在的进程将会产生更多的init请求比de-init,因为init消耗资源,直到故障产生,例如:内存溢出,文件句柄溢出。你可以用下面的步骤来确定文件句柄溢出增长的问在代理服务器上。
(1) 确定当前排序句柄文件的增长是由于代理崩溃或者"File handles exhausted"状态,每隔15分钟运行一下命令lsof -p <agent process id>,来收集系统进程数量信息
(2) 用 procfiles <agent process id> | grep <inodenum> | wc –l 统计在线的代理进程数
(3) 通过上面的信息,你可以很容易的发现上面是文件句柄增长。如果文件句柄增长到成百上前,那就是VAS 服务的问题。
解决:
在配置文件/etc/irs.conf中,注销netgroup vas,然后重启VAS 服务