此文档详细记录了XXX局人资系统在2013年11月1日15:00左右发生的应用访问异常问题,以及整个问题的分析处理全过程。
系统名称 YYY系统
IP地址 ...
域名 Base_domain
集群server AdminServer(admin)
监听地址、端口 ...:7001
Jvm配置 -Xms4096m -Xmx8192m
2.2 故障表象描述
根据客户描述,XXX系统是在2013年11月1日下午3点分左右应用系统登陆出现异常,用正确的用户名密码登陆后,无法正常进入系统页面,一直停留在登陆页面。
2.3 故障处理过程
时间点
过程描述
2013年11月1日
15:00左右
客户访问人资系统时,系统登陆异常。
15:05左右
接到客户反映,远程查看系统信息,发现JDBC连接池状态为Overloaded(超载),增大JDBC连接池最大容量,连接池状态变为running(正常)。
15:10左右
让客户查看应用,客户反映应用正常,系统可以正常登陆。
此故障涉及系统为人资系统,系统使用较少,并且在5分钟内解决故障,故障影响较小。
通过产看weblogic控制台,发现JDBC连接池达到最大容量(15),并进入Overloaded状态,
增大数据连接池的相关参数
修改后JDBC连接池回复running(正常)状态。应用恢复正常。
故障主要由于应用在高峰期需要使用较多连接,而默认的最大连接数不能满足应用需求,导致连接池过载,最终导致与数据库相关的操作受到影响。
增大JDBC连接池的相关参数,并根据业务高峰期的具体使用情况,设置适当的相关参数。
系统登陆异常,通常是由于由于相关资源耗尽引起的,以硬件资(内存,cpu)源耗尽的的情况较为常见,在本例中,该异常主要是由于JDBC连接池的资源耗尽造成的。
应用在上线前,通常会进行压力测试,系统对资源消耗及其他相关参数,都是在这个过程获得的,并且在这个过程中,应用的一些BUG也能被发现,建议在发布新应用前多进行压力测试,收集相关参数。
该贴被funny编辑于2014-2-28 11:18:55