JDBC Leaked Connection in WebLogic

calendar Jul 6, 2009 · 2 分鐘閱讀 · Java Database  ·
分享到: linkedin copy
注意
這篇文章是 WebLogic 10 的時代寫的, 並沒有在後續版本測試過.

前言

最近發現某個 WebLogic 的 JDBC connection 只會增加, 不會減少, 意思是說, 程式和 WebLogic 拿了很多 JDBC connection, 但是都沒有還給系統. 在程式執行一段時間之後, 就會拿不到 JDBC connection 了, 然後就掛了. WebLogic 的 console 可以看到, connection 的數字一直增加.

jdbc_monitor
jdbc_monitor

解決方法

WebLogic 的 log 如下, 整個 stack trace 就不全列出來了, 重點在於, 當 WebLogic 的 JDBC connection pool 的 connection 都被要光之後, 後面的程式就無法和 database 連線了.

1java.sql.SQLException: Internal error: Cannot obtain XAConnection  
2weblogic.common.resourcepool.ResourceDeadException

因為在上圖中的 WebLogic 的 console 看到的 "leaked connection count" 一直都是 0, 所以我也沒有往這個方向思考過. 不過後來才發現需要做一些設定才能偵測 leaked connection, 如下

  1. 設定 WebLogic 的 "Inactive Connection Timeout", 這個參數的意義是, 如果有個 JDBC connection 被拿走之後, 超過一段時間沒有使用 (如下圖, 代表 10 分鐘), 則系統就會自動收回. (其實設定這個之後, 這個問題基本上就已經暫時解決了)

    jdbc_connection_pool
    jdbc_connection_pool

  2. 打開偵測的工具, 如下圖, 系統就會在 log 顯示 leaked connection 的資訊

    jdbc_diagnostics
    jdbc_diagnostics

  3. 設定好之後 (不用重開 WebLogic) , 觀察系統一段時間, 結果如下, 看到 "leaked connection count" 的值不再是 0 了, 而 active connection 在沒人使用時, 也會降到 0 了.

    jdbc_monitor_leaked
    jdbc_monitor_leaked

  4. 之後 WebLogic 的 log (放在 user_projects/domains/%domainname%/%servername%/logs, 而不是自己 AP 的 log) 如下, 整個 stack trace 滿大的, 重點在第 28 行, 問題發生在 "com.test.dao.getStatus" 這個 method, 意思就是說, 有某個 JDBC connection 在這個程式被拿走之後, 一直沒有還給系統, 於是就找到兇手了.

 11.  ####<Mar 11, 2009 11:14:36 PM CST> <Warning> <JDBC> <testserver1> <Server1> <\[ACTIVE\] ExecuteThread: '4' for queue: 'weblogic.kernel.Default (self-tuning)'> <<WLS Kernel>> <> <> <1236748476017> <BEA-001153> <Forcibly releasing inactive connection "\[weblogic.jdbc.wrapper.JTAConnection\_weblogic\_jdbc\_wrapper\_XAConnection\_oracle\_jdbc\_driver\_LogicalConnection-TEST\_DS-311, oracle.jdbc.driver.LogicalConnection@42a794\]" back into the connection pool "TEST\_DS", currently reserved by: java.lang.Exception
 22.          at weblogic.jdbc.common.internal.ConnectionEnv.setup(ConnectionEnv.java:291)
 33.          at weblogic.common.resourcepool.ResourcePoolImpl.reserveResource(ResourcePoolImpl.java:314)
 44.          at weblogic.common.resourcepool.ResourcePoolImpl.reserveResource(ResourcePoolImpl.java:292)
 55.          at weblogic.jdbc.common.internal.ConnectionPool.reserve(ConnectionPool.java:425)
 66.          at weblogic.jdbc.common.internal.ConnectionPool.reserve(ConnectionPool.java:316)
 77.          at weblogic.jdbc.common.internal.ConnectionPoolManager.reserve(ConnectionPoolManager.java:93)
 88.          at weblogic.jdbc.common.internal.ConnectionPoolManager.reserve(ConnectionPoolManager.java:61)
 99.          at weblogic.jdbc.jta.DataSource.getXAConnectionFromPool(DataSource.java:1474)
1010.          at weblogic.jdbc.jta.DataSource.refreshXAConnAndEnlist(DataSource.java:1303)
1111.          at weblogic.jdbc.jta.DataSource.getConnection(DataSource.java:426)
1212.          at weblogic.jdbc.jta.DataSource.connect(DataSource.java:383)
1313.          at weblogic.jdbc.common.internal.RmiDataSource.getConnection(RmiDataSource.java:339)
1414.          at org.springframework.orm.hibernate3.LocalDataSourceConnectionProvider.getConnection(LocalDataSourceConnectionProvider.java:81)
1515.          at org.hibernate.jdbc.ConnectionManager.openConnection(ConnectionManager.java:423)
1616.          at org.hibernate.jdbc.ConnectionManager.getConnection(ConnectionManager.java:144)
1717.          at org.hibernate.jdbc.AbstractBatcher.prepareQueryStatement(AbstractBatcher.java:139)
1818.          at org.hibernate.loader.Loader.prepareQueryStatement(Loader.java:1547)
1919.          at org.hibernate.loader.Loader.doQuery(Loader.java:673)
2020.          at org.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:236)
2121.          at org.hibernate.loader.Loader.doList(Loader.java:2220)
2222.          at org.hibernate.loader.Loader.listIgnoreQueryCache(Loader.java:2104)
2323.          at org.hibernate.loader.Loader.list(Loader.java:2099)
2424.          at org.hibernate.loader.custom.CustomLoader.list(CustomLoader.java:289)
2525.          at org.hibernate.impl.SessionImpl.listCustomQuery(SessionImpl.java:1695)
2626.          at org.hibernate.impl.AbstractSessionImpl.list(AbstractSessionImpl.java:142)
2727.          at org.hibernate.impl.SQLQueryImpl.list(SQLQueryImpl.java:152)
2828.          at com.test.dao.getStatus(dao.java:194)
2929.          at sun.reflect.GeneratedMethodAccessor755.invoke(Unknown Source)
3030.          at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
3131.          at java.lang.reflect.Method.invoke(Method.java:585)
3232.          at org.apache.axis2.rpc.receivers.RPCUtil.invokeServiceClass(RPCUtil.java:194)
3333.          at org.apache.axis2.rpc.receivers.RPCMessageReceiver.invokeBusinessLogic(RPCMessageReceiver.java:102)
3434.          at org.apache.axis2.receivers.AbstractInOutMessageReceiver.invokeBusinessLogic(AbstractInOutMessageReceiver.java:40)
3535.          at org.apache.axis2.receivers.AbstractMessageReceiver.receive(AbstractMessageReceiver.java:100)
3636.          at org.apache.axis2.engine.AxisEngine.receive(AxisEngine.java:176)
3737.          at org.apache.axis2.transport.http.HTTPTransportUtils.processHTTPPostRequest(HTTPTransportUtils.java:275)
3838.          at org.apache.axis2.transport.http.AxisServlet.doPost(AxisServlet.java:133)
3939.          at javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
4040.          at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
4141.          at weblogic.servlet.internal.StubSecurityHelper$ServletServiceAction.run(StubSecurityHelper.java:226)
4242.          at weblogic.servlet.internal.StubSecurityHelper.invokeServlet(StubSecurityHelper.java:124)
4343.          at weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:283)
4444.          at weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:175)
4545.          at weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:3395)
4646.          at weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:321)
4747.          at weblogic.security.service.SecurityManager.runAs(Unknown Source)
4848.          at weblogic.servlet.internal.WebAppServletContext.securedExecute(WebAppServletContext.java:2140)
4949.          at weblogic.servlet.internal.WebAppServletContext.execute(WebAppServletContext.java:2046)
5050.          at weblogic.servlet.internal.ServletRequestImpl.run(ServletRequestImpl.java:1366)
5151.          at weblogic.work.ExecuteThread.execute(ExecuteThread.java:200)
5252.          at weblogic.work.ExecuteThread.run(ExecuteThread.java:172)

測試環境

WebLogic 10.0 MP1, JDBC driver 使用的是內建的 Oracle thin driver. 另外也發現一件事情, 如果改用 Bea 的 Oracle driver, 則 connection 成長的速度會放慢, 但最後還是一樣會爆掉的啦