一、错误查找 Server进程异常退出后,重启后正常。查看问题出现前后的日志信息找到如下信息:
####<2012-7-11 上午11时28分35秒 GMT+08:00> <[ACTIVE] ExecuteThread: '27' for queue: 'weblogic.kernel.Default (self-tuning)'> <> <> <> <1341977315557>
####<2012-7-11 上午11时28分35秒 GMT+08:00> <[ACTIVE] ExecuteThread: '202' for queue: 'weblogic.kernel.Default (self-tuning)'> <> <> <> <1341977315558>
Server宕机前出现了大量的线程创建数据库连接不成功的info信息,当时线程池内的线程数有200左右,大概半数左右都在创建数据库连接,原因是数据库连接池内的连接数已经达到最大值,不能创建出新的连接供给线程使用。
org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is java.sql.SQLException: Internal error: Cannot obtain XAConnection
由于不能创建出新的数据库连接导致sql异常。
weblogic.kernel.System failed to schedule a request due to java.lang.OutOfMemoryError:
unable to create new native thread
java.lang.OutOfMemoryError: unable to create new native thread
上面的错误是server进程异常退出的原因,由于本地内存溢出,不能创建出新的线程,导致JVM异常退出。
二、问题建议
1、 增加数据库连接池的最大容量
保证有足够的数据库连接可用。同时注意抓取数据库信息,确认是否有死锁等状况导致连接数被占用。
2、 避免JVM异常退出
为保证当连接数即使不够的情况下,也不创建出更多的线程导致本地内存溢出从而JVM崩溃Server异常退出,可用采用以下方法:
1) 调整线程栈大小,JDK1.6默认每个线程占用本地内存大小512K,为了使JDK能够创建出更多的线程,添加-Xss256K参数调整到每个线程占用本 地内存256K,调整后参数:-Xms2048m -Xmx2048m –Xss256K -XX:MaxPermSize=512m
2) 限制线程池的最大个数
BEA官方建议主机1颗CPU处理的线程数最好不要超过50,根据经验,一个server的线程数控制在100-150效果最佳,同时为了保证JVM不被新增请求创建出更多的线程导致阻塞而异常退出,建议限制线程池内线程数最小值为150,最大值150
在config.xml中添加如下参数:(示例中修改的是AdminServer线程的个数)
<server>
<name>AdminServer</name>
<self-tuning-thread-pool-size-min>150</self-tuning-thread-pool-size-min>
<self-tuning-thread-pool-size-max>150</self-tuning-thread-pool-size-max>
<listen-port>7923</listen-port>
<listen-address></listen-address>
</server>