三个实例演示 Java Thread Dump 日志分析

原文地址： http://www.cnblogs.com/zhengyun_ustc/archive/2013/01/06/dumpanalysis.html

jstack Dump 日志文件中的线程状态

dump 文件里，值得关注的线程状态有：

  1. 死锁，Deadlock（重点关注） 
  2. 执行中，Runnable   
  3. 等待资源，Waiting on condition（重点关注） 
  4. 等待获取监视器，Waiting on monitor entry（重点关注）
  5. 暂停，Suspended
  6. 对象等待中，Object.wait() 或 TIMED_WAITING
  7. 阻塞，Blocked（重点关注）  
  8. 停止，Parked

下面我们先从第一个例子开始分析，然后再列出不同线程状态的含义以及注意事项，最后再补充两个实例。

综合示范一：Waiting to lock 和 Blocked

实例如下：

"RMI TCP Connection(267865)-172.16.5.25" daemon prio=10 tid=0x00007fd508371000 nid=0x55ae waiting for monitor entry [0x00007fd4f8684000]

   java.lang.Thread.State: BLOCKED (on object monitor)

at org.apache.log4j.Category.callAppenders(Category.java:201)

- waiting to lock <0x00000000acf4d0c0> (a org.apache.log4j.Logger)

at org.apache.log4j.Category.forcedLog(Category.java:388)

at org.apache.log4j.Category.log(Category.java:853)

at org.apache.commons.logging.impl.Log4JLogger.warn(Log4JLogger.java:234)

at com.tuan.core.common.lang.cache.remote.SpyMemcachedClient.get(SpyMemcachedClient.java:110)

……

1）线程状态是 Blocked，阻塞状态。说明线程等待资源超时！

2）“ waiting to lock <0x00000000acf4d0c0>”指，线程在等待给这个 0x00000000acf4d0c0 地址上锁（英文可描述为：trying to obtain  0x00000000acf4d0c0 lock）。

3）在 dump 日志里查找字符串 0x00000000acf4d0c0，发现有大量线程都在等待给这个地址上锁。如果能在日志里找到谁获得了这个锁（如locked < 0x00000000acf4d0c0 >），就可以顺藤摸瓜了。

4）“waiting for monitor entry”说明此线程通过 synchronized(obj) {……} 申请进入了临界区，从而进入了下图1中的“Entry Set”队列，但该 obj 对应的 monitor 被其他线程拥有，所以本线程在 Entry Set 队列中等待。

5）第一行里，"RMI TCP Connection(267865)-172.16.5.25"是 Thread Name 。tid指Java Thread id。nid指native线程的id。prio是线程优先级。[0x00007fd4f8684000]是线程栈起始地址。

 

Dump文件中的线程状态含义及注意事项

含义如下所示：

  • Deadlock：死锁线程，一般指多个线程调用间，进入相互资源占用，导致一直等待无法释放的情况。
  • Runnable：一般指该线程正在执行状态中，该线程占用了资源，正在处理某个请求，有可能正在传递SQL到数据库执行，有可能在对某个文件操作，有可能进行数据类型等转换。
  • Waiting on condition：等待资源，或等待某个条件的发生。具体原因需结合 stacktrace来分析。
    • 如果堆栈信息明确是应用代码，则证明该线程正在等待资源。一般是大量读取某资源，且该资源采用了资源锁的情况下，线程进入等待状态，等待资源的读取。
    • 又或者，正在等待其他线程的执行等。
    • 如果发现有大量的线程都在处在 Wait on condition，从线程 stack看，正等待网络读写，这可能是一个网络瓶颈的征兆。因为网络阻塞导致线程无法执行。
      • 一种情况是网络非常忙，几乎消耗了所有的带宽，仍然有大量数据等待网络读写；
      • 另一种情况也可能是网络空闲，但由于路由等问题，导致包无法正常的到达。
    • 另外一种出现 Wait on condition的常见情况是该线程在 sleep，等待 sleep的时间到了时候，将被唤醒。
  • Blocked：线程阻塞，是指当前线程执行过程中，所需要的资源长时间等待却一直未能获取到，被容器的线程管理器标识为阻塞状态，可以理解为等待资源超时的线程。
  • Waiting for monitor entry 和 in Object.wait()：Monitor是 Java中用以实现线程之间的互斥与协作的主要手段，它可以看成是对象或者 Class的锁。每一个对象都有，也仅有一个 monitor。从下图1中可以看出，每个 Monitor在某个时刻，只能被一个线程拥有，该线程就是 “Active Thread”，而其它线程都是 “Waiting Thread”，分别在两个队列 “ Entry Set”和 “Wait Set”里面等候。在 “Entry Set”中等待的线程状态是 “Waiting for monitor entry”，而在 “Wait Set”中等待的线程状态是 “in Object.wait()”。

图1 A Java Monitor

 

综合示范二：Waiting on condition 和 TIMED_WAITING

实例如下：

"RMI TCP Connection(idle)" daemon prio=10 tid=0x00007fd50834e800 nid=0x56b2 waiting on condition [0x00007fd4f1a59000]

   java.lang.Thread.State: TIMED_WAITING (parking)

at sun.misc.Unsafe.park(Native Method)

- parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)

at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:198)

at java.util.concurrent.SynchronousQueue$TransferStack.awaitFulfill(SynchronousQueue.java:424)

at java.util.concurrent.SynchronousQueue$TransferStack.transfer(SynchronousQueue.java:323)

at java.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:874)

at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:945)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)

at java.lang.Thread.run(Thread.java:662)

1）“TIMED_WAITING (parking)”中的 timed_waiting 指等待状态，但这里指定了时间，到达指定的时间后自动退出等待状态；parking指线程处于挂起中。

2）“waiting on condition”需要与堆栈中的“parking to wait for  <0x00000000acd84de8> (a java.util.concurrent.SynchronousQueue$TransferStack)”结合来看。首先，本线程肯定是在等待某个条件的发生，来把自己唤醒。其次，SynchronousQueue 并不是一个队列，只是线程之间移交信息的机制，当我们把一个元素放入到 SynchronousQueue 中时必须有另一个线程正在等待接受移交的任务，因此这就是本线程在等待的条件。

3）别的就看不出来了。

综合示范三：in Obejct.wait() 和 TIMED_WAITING

实例如下：

"RMI RenewClean-[172.16.5.19:28475]" daemon prio=10 tid=0x0000000041428800 nid=0xb09 in Object.wait() [0x00007f34f4bd0000]

   java.lang.Thread.State: TIMED_WAITING (on object monitor)

at java.lang.Object.wait(Native Method)

- waiting on <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:118)

- locked <0x00000000aa672478> (a java.lang.ref.ReferenceQueue$Lock)

at sun.rmi.transport.DGCClient$EndpointEntry$RenewCleanThread.run(DGCClient.java:516)

at java.lang.Thread.run(Thread.java:662)

1）“TIMED_WAITING (on object monitor)”，对于本例而言，是因为本线程调用了 java.lang.Object.wait(long timeout) 而进入等待状态。

2）“Wait Set”中等待的线程状态就是“ in Object.wait() ”。当线程获得了 Monitor，进入了临界区之后，如果发现线程继续运行的条件没有满足，它则调用对象（一般就是被 synchronized 的对象）的 wait() 方法，放弃了 Monitor，进入 “Wait Set”队列。只有当别的线程在该对象上调用了 notify() 或者 notifyAll() ，“ Wait Set”队列中线程才得到机会去竞争，但是只有一个线程获得对象的 Monitor，恢复到运行态。 

3）RMI RenewClean 是 DGCClient 的一部分。DGC 指的是 Distributed GC，即分布式垃圾回收。

4）请注意，是先 locked <0x00000000aa672478>，后 waiting on <0x00000000aa672478>，之所以先锁再等同一个对象，请看下面它的代码实现：

static private class  Lock { };

private Lock lock = new Lock();

public Reference<? extends T> remove(long timeout)

{

    synchronized (lock) {

        Reference<? extends T> r = reallyPoll();

        if (r != null) return r;

        for (;;) {

            lock.wait(timeout);

            r = reallyPoll();

            ……

       }

}

即，线程的执行中，先用 synchronized 获得了这个对象的 Monitor（对应于  locked <0x00000000aa672478> ）；当执行到 lock.wait(timeout);，线程就放弃了 Monitor 的所有权，进入“Wait Set”队列（对应于  waiting on <0x00000000aa672478> ）。

5）从堆栈信息看，是正在清理 remote references to remote objects ，引用的租约到了，分布式垃圾回收在逐一清理呢。

 

参考资源：

1）CUBRID，2012，How to Analyze Java Thread Dumps；

2）iteye，2012，虚拟机stack全分析；

3）iteye，2008，如何分析Java虚拟机死锁；

4）csdn，2012，java stack dump中JVM运行过程中产生的一些常见线程介绍和解释；

5）2009，Java线程dump的分析；

6）jiacheo，2012，tomcat thread dump 分析；

spymemcached 相关文章：

1）spymemcached 的 useNagle 问题与 TCP/IP延迟发送数据

2）spymemcached ：某个mc节点操作连续超时超过998次就 Auto-Reconnect 的特性

3）关于 Multiget hole：spymemcached对此的实现方法

1）55最佳实践系列：MongoDB最佳实践 (2012-12-15 15:48)
2）55最佳实践系列：Logging最佳实践 (2012-12-15 16:43)

3）最佳实践系列：前端代码标准和最佳实践 (2012-12-19 23:33)

 

时间： 2024-10-15 03:38:58

三个实例演示 Java Thread Dump 日志分析的相关文章

大数据日志分析项目架构

老是弹出由于您编辑时间过长,页面和服务器之间的连接已断开,请先将文章内容另外保存,再刷新本页面继续编辑让我保存页面我也是醉了,图片多没法一次上传,上传图片还一直失败,我只好都放在一个附件里面了.阿里能花点心思把网址做好一点么 共两个开发项目,git地址:https://github.com/dengziming/hongya-report.git,https://github.com/dengziming/hongya-taobaopayment.git 项目简介:大数据涉及到的业务很多很复杂,

Java 多线程使用要点分析_java

多线程细节问题 sleep方法和wait方法的异同点? 相同点: 让线程处于冻结状态. 不同点: sleep必须指定时间 wait可以指定时间也可以不指定时间 sleep时间到,线程处于临时阻塞状态或者运行态 wait如果没有时间,必须通过notify或者notifyAll唤醒 sleep不一定非要定义在同步中 wait必须定义在同步中 都定义在同步中时 sleep放执行权,不放锁 wait放执行权,放锁 syschronized(obj) { wait();// 0 1 2 code... }

Java应用频繁FullGC分析

一.JVM的内存分布 1.1 JVM内存分布概况 堆内存划分为: Eden.Survivor 和 Tenured/Old 空间 1.2 Minor GC.Major GC.Full GC 1.3 JVM垃圾回收算法 二.应用的GC日志配置 2.1 应用GC日志配置 JVM的GC日志的主要参数包括如下几个: -XX:+PrintGC 输出GC日志 -verbose:gc 示输出虚拟机中GC的详细情况 -XX:+PrintGCDetails 输出GC的详细日志 -XX:+PrintGCTimeSta

JAVA之旅（十二）——Thread，run和start的特点，线程运行状态，获取线程对象和名称，多线程实例演示，使用Runnable接口

JAVA之旅(十二)--Thread,run和start的特点,线程运行状态,获取线程对象和名称,多线程实例演示,使用Runnable接口 开始挑战一些难度了,线程和I/O方面的操作了,继续坚持 一.Thread 如何在自定义的代码中,自定义一个线程呢? 我们查看API文档,我们要启动一个线程,先实现一个子类, package com.lgl.hellojava; public class MyThread extends Thread { @Override public void run()

Thread Dump 和Java应用诊断(转)

  Thread Dump 和Java应用诊断 Thread Dump是非常有用的诊断Java应用问题的工具,每一个Java虚拟机都有及时生成显示所有线程在某一点状态的thread-dump的能力.虽然各个Java虚拟机thread dump打印输出格式上略微有一些不同,但是Thread dumps出来的信息包含线程:线程的运行状态.标识和调用的堆栈:调用的堆栈包含完整的类名,所执行的方法,如果可能的话还有源代码的行数. Thread Dump特点: ?能在各种操作系统下使用 ?能在各种Java

Java线程Dump分析工具--jstack（转）

jstack用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息,如果是在64位机器上,需要指定选项"-J-d64",Windows的jstack使用方式只支持以下的这种方式:     jstack [-l][F] pid     如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题.另外,jstack工具还可以附

如何抓取Thread Dump小结(转)

当系统性能出现问题时,需要从各个方面来查看网络环境.主机资源.查看最经变更的代码等.如果是想从代码层面解决问题,那么最有效的方法就是查看相关dump文件.如果是使用IBM JDK(我默认你是在aix环境下),那么可以使用kill -3 "进程号",这种恐吓的方式来生成dump文件.可以用IBM提供的工具jca.jar来查看Thread dump文件.利用IBM 提供的heap分析工具.javacore文件(关于cpu的)和heapdump文件(关于内存的) tips:IBM jdk1.

【SSO-CAS】SSO之CAS单点登录实例演示

国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私募机构九鼎控股打造,九鼎投资是在全国股份转让系统挂牌的公众公司,股票代码为430719,为"中国PE第一股",市值超1000亿元.    ----------------------------------------------------------------------------

线程-java Thread wait 问题

问题描述 java Thread wait 问题 3C 执行下面代码 public class TestMain { public static void main(String[] args) { new Thread(new Runnable() { private Object obj = new Object(); @Override public void run() { while(true){ System.out.println(""rr""); t