weblogic产生这个错误以后，就会拒绝服务，这时通过IE已经访问不了了。所以接下来就会出现apache报下面的错误：

这时访问apache会提示和weblogic的桥出了问题。

这个问题已经遇到很多次了，但通常都是夜间，第二天查看日志的时候，会发现那个时候确实访问量比较大。查看当时的连接情况可以看到，apache和java连接都700多。看了网上的说明，调整了系统参数、调整了weblogic的设置等，都不见效。

今天又出现这个情况了，不过是白天，和web应用的作者一起对weblogic的情况进行了观察。

通过weblogic控制台，可以看到Throughput这里大都是在处理1左右的访问，Queue Length这里却在不停的涨，开始就对Thread count做了修改，从50调整到了400，但是还是可以看到Thread会用完，一会Queue Length就又涨起来了。

分析一下就可以知道，情况应该是Queue的线程对访问的处理速度太慢，导致需要处理的队列越来越多。需要处理队列的增长速度比队列的处理速度慢，这样不管有多少线程，肯定最后都会导致不够用。

现在大家就开始考虑问题是不是出在应用这里了，应用执行速度慢，weblogic线程就会一直占着，就会导致线程用尽。而实际上确实是应用这里的问题。

应用对访问的处理速度很快，有访问进来就先放到队列，而队列的处理速度却是500ms处理一下，这样一秒也就处理2个。这样问题的原因就很明确了，1s内外部访问应用可能有10来次，而应用才处理2个，所以自然会将线程占满了。

调整队列处理速度之后问题就解决了，空闲线程一直是400。

=======================================================================

一，什么情况下，会新建和打开文件：

二，文件描述符的释放：（文件描述符是由无符号整数表示的句柄。进程使用它来标识打开的文件）
1，在文件关闭或进程终止时被关闭的。
2，如果想重用某个文件描述符，必须关闭与之关联的所有文件描述符（父进程和子进程：文件描述符可以继承，可由子进程使用）。
3，TIME_WAIT 结束时，才会释放 TCP 套接字文件描述符。
（在Unix系统中, TIME_WAIT在kernel参数tcp_time_wait_interval中设置.在Windows中,这个参数定义在HKEY_LOCAL_MACHINESYSTEMCurrentControlSetServicesTcpipParameters的TcpTimedWaitDelay键值
中.  默认值是240秒 (tcp_time_wait _interval 和 TcpTimedWaitDelay)）
4，打开新文件时将会重用关闭的文件描述符

三，查看文件描述符的方法：
1，在UNIX平台，使用“文件列表” (lsof) 工具显示有关打开的文件和网络文件描述符的信息。
   针对特定的process ,语句就是： lsof -p <pid of process>
   这个命令可以在异常发生后检查打开文件的最大数，你也可以通过lsof –h 显示相应的语法和选项。
   此程序最新版本可通过以下网址获得：   http://ftp.cerias.purdue.edu/pub/tools/unix/sysutils/lsof/
2, 在WINDOWS平台，使用handle 工具报告有关打开文件句柄的信息。
   推荐使用Process Explorer 工具查看运行的进程和打开的文件列表.(google查一下)

四， 解决之道：

1，对于引发异常的进程，请定期通过工具或命令检查该进程打开的文件和/或连接。
2，将检查结果与操作系统对进程和总体的文件描述符限制进行比较。
3，根据检查结果和实际需要提高 OS 限制来弥补文件描述符不足。并使TIME_WAIT 期间缩短为一个切合 实际的值。

  注意事项：
  1，如果未正确关闭文件，文件描述符可能未被释放。
  2，如果子进程使用的描述符未关闭文件，将不能重用该文件描述符。（继承父进程文件描述符）
  3, TIME_WAIT 结束前，TCP 套接字会使文件描述符保持打开状态。
  4, 请不要依赖 GC 和对象清除功能来释放文件描述符

五， 如何修改文件描述符：

操作系统资源限制控制：
可以使用的文件描述符总数
单个进程最多可以打开的描述符数。
例如：
1，Windows: 通过文件句柄,打开文件句柄设置为 16,384.

2，Solaris: rlim_fd_cur 和 rlim_fd_max
    /usr/bin/ulimit 实用程序定义允许单个进程使用的文件描述符的数量。 它的最大值在 rlim_fd_max 中定义，在缺省情况下，它设置为 65,536。 只有ROOT用户才能修改这些内核值。

3，HPUX: nfile, maxfiles 和 maxfiles_lim
  nfile 定义打开文件的最大数量。 此值通常由以下公式来确定： ((NPROC*2)+1000)，其中 NPROC 通常为： ((MAXUSERS*5)+64)。  如果 MAXUSERS 等于 400，则经过计算得到此值为 5128。 通常可以将此值设高一些。maxfiles 是每个进程的软文件极限，maxfiles_lim 是每个进程的硬文件极限。

4，Linux: nofile 和 file-max
    管理用户可以在 etc/security/limits.conf 配置文件中设置他们的文件描述符极限，如下例所示。

    设置命令如下：

    文件描述符极限在 /etc/security/limits 文件中设置，它的缺省值是 2000。 此极限可以通过 ulimit 命令或 setrlimit 子例程来更改。 最大大小由 OPEN_MAX 常数来定义。

======================================================================