说明：

该文档专门针对WebLogic10.3怎么查问题、定位问题及日常维护中的一些小技巧，该文档适合对WEB应用程序有一定认识、对WebLogic有一定了解，对当前主机环境熟悉，对Aix命令有一定基础的相关人员。其它非法人员切记在不了解的情况下做任何修改，执行任何命令，以此带来的任何问题及影响概不负责。

一、日常监控

1、集群负载监控

1. 查看集群内各Server的单独访问地址，是否能正常访问，Server访问地址后面有统一说明，常见的无法访问原因有：

     a.Server没有启动（提示Service not available)，启动Server即可；

b.应用程序是否为Active（提示403或404），update或start即可；

c.应用程序已经是Active，Server也RUNNING仍无法访问，则可以通过应用程序的Monitoring查看各Server上的运行情况，查看对应Server的*.out日志，通常情况下是应用程序更新有问题导致的；

2. 查看Proxy Server的线程数，根据应用程序根路径名可以定位是哪个具体的Server或集群，若有队列吞吐量为0的情况说明集群没有实现分发（需要分析Proxy的web.xml文件，看看对应的servlet(即应用程序根路径））是否有如下配置：

3. 查看应用程序的Monitoring的Session，根据各Server上的在线Session数即可判断集群是否实现负载，常见的无法负载原因有：

a.集群内存在已挂死的Server（查看各Server的*.out日志即可）；

b.Proxy的web.xml配置错误，如IP、端口、CookieName、servlet名等；

c.应用程序发布的target是不是在集群；

2、Server内存、队列、线程数监控

1. 1.进入对应的Server监控页，查看Performance的Java 内存、Threads的队列及线程数、JDBC连接数等

3、WTC监控

1. Service->WTCServer->Ctrl是否connected

4、JDBC监制

1. 查看连接的总体情况，看看是否有未释放的连接，查看时要多次刷新页面看看Java内存是否可以正常回收、队列及线程数是否有居高不下、JDBC是否有长时间不释放（这种情况下需要DBA配合分析）

5、日志监控

1. 定期查看server/logs和logs/xxx_error.log出现的错误日志

6、JMS监制

1. Interoperability->WTC Servers->Connected是否为true

7、后台进程监控

1. 用命令ps –ef   grep $ServerName，看进程是否存在，ServerName列表可参看Server访问地址里的访问根路径名

二、问题分析定位必杀技

1. 用topas命令，查看占用CPU高的进程ID；

4. 然后用ps -ef   grep $ID即可看到对应的ServerName；

5. 然后进Console看该Server的运行状态（RUNNING),如果Server已经Down掉了可以直接通过Console启起来，记得不要把ngbossdomain/servers/$ServerName/logs下的文件删除，用作之后的日志分析

6. 在Console可以操作的前提下，还可以查看该Server的Dump 日志、进程的内存使用情况、队列及空闲线程、JDBC连接数等

7. 若Console不可操作（一般在有Server挂死的情况下），可以用命令ps -mp $ID -o THREAD   grep R;kill -3 $ID（需要记录该命令的输出内容），执行完后会在ngbossdomain下生成javacore文件（该文件与Console里的Dump日志内容相似），该命令可以多执行几次，生成多个javacore文件，方便之后的问题分析；如果需要重启服务可以用kill -9 $ID，执行完这个命令后该Server会自动重启，切记要先生成javacore，再kill -9；

说明：通过分析某一进程的各个线程运行情况，定位问题，可以通过多种途径获取进程，如：

1. 根据有问题的系统模块找到对应的Server，然后用ps –ef   grep ServerName即可得到进程名

2. 根据WL的控制台找到对应的Server，然后用ps –ef   grep ServerName即可得到进程名

三、javacore快速定位

1、生成javacore文件

1. 通过命令ps -mp $ID -o THREAD   grep R;kill -3 $ID（$ID为进程ID），即可在域目录（ngbossdomain）下生成与进程ID对应的javacore文件，主要分析*.txt文件，记下该命令的输出日志，记下着色处的数字，示例如下：

8. :/ngboss/webapp $ps -mp 286906 -o THREAD   grep R;

说明：

该命令生成当进程正在运行（状态为R）的线程日志，着色处为线程ID，将该ID用Windows自带的计算器转换成16位即可在javacore文件里找到对应的线程日志

2、分析javacore定位问题

1. 用vi命令查看javacore*.txt文件，查找线程ID转16位的串；

9. 如果1查到的内容是：GC日志、Wait状态、autoLogin栈都不需要关注，只关注有带有相应模块串的异常栈信息，示例如下：

11. 根据2即可定位到是具体应用的具体Java文件的具体方法，定位具体问题，然后再去分析该代码即可

3、WADE应用javacore文件分析小技巧

1、后台定位

1. 找到进程ID（可通过topas,或ps -ef   grep ServerName等方法），执行kill -3命令，生成javacore文件

12. vi 1 生成的javacore文件，查找queryList或export关键字符，即可快速定位问题代码

2、前台定位

1. 登录WebLogic控制台，打开有问题Server，进入Performance监控页，生成Dump Thread Stacks内容；

13. 查找queryList或export关键字符，即可快速定位问题代码；

说明：

针对javacore文件分析，要灵活运行相关信息。对于WADE的在线系统，一般都是查询SQL引起Server挂死问题，所以可以通过queryList,export这些关键字快速定位问题，针对非WADE应用，该思路同样适应。

四、WebLogic应急方案

1、WebLogic控制台假死

一般是因为子Server挂死导致，需要把挂死的Server停掉或重启即可；AdminServer有相应的停启脚本stopadm.sh、startadm.sh，其它Server可以用ps -ef   grep "ServerName" 取到对应的ID，然后kill -9 $ID即可；

2、Server挂死

一般是因为应用程序问题导致，紧急情况下可以在Console里重启，也可以直接kill -9 $ID，Server会自动重启；

五、Server访问地址

说明：

格式：[系统子模块]：http://IP:端口/[应用根路径对应weblogic.xml的contextroot]/[应用servlet名对应应用程序web.xml的servlet]

1、 前台WEB应用

web入口1:

web入口2:

web入口3:

web入口4:

客服入口:

代理商入口:

个人业务:

集团业务:

账务管理:

客户管理:

资源管理:

稽核管理:

渠道管理:

统计分析:

产品管理

营销管理:

系统管理:

合作伙伴管理:

2、后台接口应用

内部接口:

平台服务接口:

批量业务接口:

个人业务接口:

账务管理接口:

资源管理接口:

客户管理接口:

营销管理接口:

一级BOSS接口:

个人业务接口:

账务管理接口:

资源管理接口:

客户管理接口:

营销管理接口:

电子渠道接口:

个人业务接口:

账务管理接口:

资源管理接口:

客户管理接口:

营销管理接口:

客服接口:

个人业务接口:

账务管理接口:

资源管理接口:

客户管理接口:

营销管理接口:

六、WebLogic监控指标

1、Server内存

指标：Server最大内存的90%（最大内存可以在控制台的Server->Monitoring->Performance看到）；

说明：默认Server在消耗最大内存的90%时会强制GC（垃圾回收）来释放内存，当内存超过最大内存的90%且长时间无法释放时Server运行异常；

2、Server队列

指标：队列长度的90%（队列长度可以在控制台的Server->Configuration->Queues看到）；

说明：默认的队列长度为15，限制百分比为90％。一般情况下，应保留90％或其左右，以应对一些潜在的情况，使得有额外的线程可以去处理一些请求中的异常。

3、Server线程数

指标：最大线程的90%（线程数可以在控制台的Server->Monitoring->Threads看到）；

说明：默认最大线程数为400

4、JDBC连接数

指标：最大连接数的90%（JDBC最大连接数可以在控制台的Service->JDBC->DataSource实列里看到）；

说明：若有连接长时间不释放则需要DBA配合分析原因；

5、WTC连接

指标：连接正常（WTCServer->Ctrl是否connected）

说明：WTC队列监控在Tuxedo，WebLogic这边只能看到是否正常连接

6、JMS连接

指标：连接正常（Interoperability->WTC Servers->Connected是否为true）

说明：JMS为Java消息服务，连接正常即可

七、WADE的JDBC连接

WADE的JDBC是页面级事务，并且在每个lietener动作后都会释放连接，无论是否有异常抛出都会处理，在WADE框架这一层不会有连接池泄漏。