CPU使用率高怎么办?收藏这个排查手册吧

Linux性能优化系列

第1篇

Java程序在实际生产过程中经常遇到所在服务器CPU使用率高的问题，那么应该如何排查问题的原因呢，本文大概描述一下排查方法，作为一个排查手册。

1、使用top命令，在大写打开的情况下按P键或者在大写没有打开的情况下按 shift+P键，会按照CPU使用率的高低进行排序，查找使用率最高的进程获取进程pid。

2、使用命令top -H -p pid,此处pid就是上一步获取的进程pid，通过此命令可以查看实际占用CPU最高的的线程的id，此处即为tid

3、使用命令printf "%x\n" tid，将线程tid转换为16进制

4、使用命令jstack pid |grep tid -A 50，此处tid为上一步转换后的16进制，使用此命令可以查看到对应线程的线程栈信息，从而根据线程栈对应的代码进行分析。

5、如果无法查到有占用特别高的CPU的线程，那么需要进一步的查询，可以使用vmstat 2命令，每隔2秒输出一次信息,输出结果如下:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0      0 1416708   2108 182420    0    0  3250   472  326 2837  5 13 82  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   49   96  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   51   96  0  1 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   53  101  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   49   94  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   46   91  0  0 100  0  0
 1  0      0 1416584   2108 182452    0    0     0     0   44   90  0  1 100  0  0

vmstat命令能够报告有关进程、内存、分页、IO、磁盘和cpu活动等信息，是一个Linux系统问题排查的利器。以上输出的结果列含义如下：

• r
  Running or Runnable，就绪队列的长度，也就是正在运行和等待 CPU 的进程数，当这个值大于CPU核数时，证明目前处于等待CPU的进程数较多，CPU已经处理不过来了。
• b
  blocked, 处于不可中断睡眠状态的进程数。
• swpd
  虚拟内存已使用的大小，这个值大于0代表已经使用了虚拟内存。
• free
  空闲的物理内存的大小。
• buff
  Linux系统buff的大小。
• cache
  Linux系统cache的大小。
• si
  表示每秒钟从磁盘读入虚拟内存的大小。
• so
  表示每秒虚拟内存写入磁盘的大小。
• bi
  每秒中写入块设备的块数量, Linux版本块的大小一般为1024bytes。
• bo
  每秒钟从块设备读取的块的数量。
• in
  interrupt，每秒中断的次数。
• cs
  context switch,代表每秒钟上下文切换的次数，这是一个特别值得注意的内容，如果cs特别的高，将会耗费大量的CPU性能。
• us
  用户进程执行消耗cpu时间，us的值比较高时，说明用户进程消耗的cpu时间多。
• sy
  系统进程消耗cpu时间 ，sy的值过高时，说明系统内核消耗的cpu资源多，一般sy不宜太高，如果太高则我们应该检查具体原因。
• id
  idle,CPU处于空闲的时间占比， 包括IO等待时间 ，id+sy+us=100%.
• wa
  等待IO时间， wa过高时，说明io等待比较严重 。

其中需要特别注意r,in,cs,us,sy,id,wa这几个指标,如果发现cs的值比较大，证明系统发生了大量的上下文切换，此时sy的值一般也会比较大，系统实际用户进程消耗的CPU时间比较少，CPU使用率高是因为大量CPU时间消耗在了系统内核态。

6、如果cs很大，则需要进一步判断是由于哪个进程引起的大量上下文切换，可以使用pidstat -w 2命令(一般来说还可以使用pidstat -w -u 2输出更多CPU的指标)，每两秒中输出一次进程的上下文情况,结果如下，其中cswch/s代表每秒自愿上下文切换（voluntary context switches）的次数， 另一个则是 nvcswch ，表示每秒非自愿上下文切换（non voluntary context switches）的次数。

• 所谓自愿上下文切换，是指进程无法获取所需资源，导致的上下文切换。比如说， I/O、内存等系统资源不足时，就会发生自愿上下文切换 。
• 非自愿上下文切换，是指进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换。比如说，大量进程都在争抢 CPU 时，就容易发生非自愿上下文切换 。

10:40:21 PM   UID       PID   cswch/s nvcswch/s  Command
10:40:23 PM     0         3      0.50      0.00  ksoftirqd/0
10:40:23 PM     0         9      2.01      0.00  rcu_sched
10:40:23 PM     0       314      1.01      0.00  kworker/u256:2
10:40:23 PM     0       428     20.10      0.00  xfsaild/dm-0
10:40:23 PM     0       429      0.50      0.00  kworker/0:1H
10:40:23 PM     0      1467      0.50      0.00  sshd
10:40:23 PM     0      1599      3.02      0.00  kworker/0:2
10:40:23 PM     0      1600      0.50      0.00  kworker/0:3
10:40:23 PM     0      1601      0.50      0.50  pidstat

以上只能看到进程的上下文切换，如果想看到线程的上下文切换，则可以使用pidstat -wt 2，输出详细的线程切换的数据，通过这种方法可以查看到线程切换频繁的线程id，然后通过将id转换为16进制，跟踪堆栈信息就可以找到对应的代码了。

7、如果发现in的值很大，则证明系统中断占比很高，系统中断运行在内核态，想要查看中断的情况，可以通过查看/proc/interrupts，使用命令watch -d cat /proc/interrupts,可以查看到 RES : Rescheduling interrupts(重调度中断)的变化， 这个中断类型表示，唤醒空闲状态的 CPU 来调度新的任务运行。如果这个值变化很大，代表大量的中断是因为唤醒CPU执行新的调度任务，那么这实际上也是因为存在过多的需要进行调度的任务，也可能是因为大量的线程上下文切换。

8、如果发现vmstat的输出结果wa比较大，可以进一步使用pidstat -w -d 2来输出IO的相关统计信息，-d表述输出IO信息，还可以使用iostat,例如iostat -d -k 2，-d表示显示磁盘使用状态，-k表示KB为单位，2表示每隔2秒输出一次,通过这些信息，可以协助判断IO的瓶颈。

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.51        17.28         3.01     150842      26248
scd0              0.00         0.12         0.00       1028          0
dm-0              0.46        13.55         2.77     118281      24179
dm-1              0.01         0.28         0.00       2460          0

微信公众号中文同名：饭团技术，欢迎关注交流。