概述

1.1 巡检概述：

应客户的要求，Oracle工程师对XXXX系统中的webLogic中间件进行了为期2天的健康检查。从整体上来看各系统运行稳定，不存在大的隐患。如果需要疑惑的问题，欢迎继续联系我们售后服务部门解决。

由于检查的系统和主机数量较多，各系统出现的问题也不相同，以下报告会区分各个系统来描述出现问题的起因、造成的现象和影响、并针对性提供解决办法。

1.2 结论概述：

通过对系统的两周来的日志进行分析，发现系统没有因为weblogic或应用的问题而导致内存溢出。其中发现wls2、wls4、wls5在更新应用版本问题时，出现了一次内存溢出。Oracle工程师也对此问题做过技术分析，并对操作系统及weblogic的调整提出了相应的意见。

建议在更新应用版本时，先停止应用，再更新版本。网上营业厅系统健康分析

2. 1 系统环境

系统关联IP地址 OS以及硬件配置 WLS部署情况

CPU数量：2 × 1648 MHz

CPU数量：2 × 1648 MHz

CPU数量：2 × 1648 MHz

CPU数量：2 × 1648 MHz

CPU数量：2 × 1648 MHz

CPU数量：2 × 1648 MHz

2. 2 运行状态分析

1，操作系统运行情况:

针对6台服务器，执行”vmstat”和“topas”命令监测主机性能也没有发现资源利用的不合理现象（CPU都比较空闲、内存硬盘也都比较充足）。

2，Weblogic系统运行情况：

从Admin Console的性能监控模块，各个Server的运行状态都比较健康，尝试执行Full GC之后各Server的JVM堆内存都基本能全部回收，不存在内存泄露。另外请求执行队列，也没有出现排队现象，持续观察了10分钟各Server吞吐量数值变化也很正常。

系统中没有执行时间超时的线程，处于active的线程数量不大。

观察jdbc连接池，能获得连接，性能较好。

3，各weblogic系统产生的日志分析：

通过系统的日志分析weblogic服务器及应用程序出现的错误，找到可能影响系统性能的服务器和应用的地方。举例如下：

1、已经对用户进行响应

如上异常，为什么对用户的response已经提交给用户了，就要怀疑代码中某些地方在过滤器过滤之前已经显示的提交或关闭了对用户的响应的outputstream。有些时候在过滤器中要做后续的一些处理，这时候filter中出现异常，有可能导致数据库连接不释放及一些后续的处理得不到执行。

2、线程一直处于stuck状态

这句表名��程32执行时间超过600秒设定的时间。检查这个请求是否会导致线程执行超时，是否是长时间的处理。当前系统状态是否正常，是否是cpu、内存等资源不足导致的线程执行缓慢。

重要的一点要查看线程32是否变成unstuck状态。否则就有可能出现线程死锁。

3、数据库连接问题

当出现此问题时，一般系统都执行缓慢。检查是否ping通数据库，是否有权限，也可以请数据库工程师查看数据库是否运行正常。检查dns服务器或本地dns映射是否正常，域名dbnew2_vip能否解析。以及操作系统的tcp参数设置。

4、检查Weblogic记录的Error级别的日志。找到可能影响系统运行及功能的问题。

5、class文件找不到

检查控制器是否书写正确，还是这个java文件没有正确编译部署。系统中多处出现这个异常，请注意是否影响某些应用的正常运行。

6、邮件服务器异常

检查邮件服务器是否有问题，ip是否冲突，网络连接是否正常，以免影响应用的功能。

7、是否是算法的bug导致的oom。如下：

应该查看com.sun.imageio.plugins.jpeg.JPEGImageWriter是否存在bug，处理大图片时，是否会导致oom。通过查看它并不是导致系统oom的罪魁祸首，因为通过其他日志发现此时系统以及oom了，所以在给一个对象分配内存时也出现oom的异常。

8、程序的一般常见的异常

应该在程序中避免这类异常的发生。

2. 3 结论以及解决方案

系统偶尔出现的oom不是因程序导致的。 经上次对weblogic和操作系统进行优化后，系统出现oom的次数大大减少。从日志看来，只有应用的版本更新才会偶���导致oom。

6台IBM AIX主机运行情况良好，但操作系统还有待更进一步的优化。

建议：下次更新版本时，应该先在weblogic控制台停止这个应用，然后更新版本，以免影响应用。