Linux 进程性能问题——平均负载 Load 问题

前言

有一回面试,面试官提了一个问题,cpu 使用率不高,但是 Load (平均负载) 很高,你如何查找问题?

当时我不明白 Load 的意思,面试官解释说这个指标反映不可中断状态的进程比较多。我遂根据过往后端开发经验,回答可能系统中 io 阻塞比较多,多发于网络 io 问题,用命令 netstat -tnp 看看 tcp 连接中 time_wait 状态多不多…

我知道我的回答很片面,事后复习,做笔记。

什么是平均负载

熟悉 Linux 者知道,使用 top uptime 命令可以查看 load average 指标。

使用 man uptime 查看 Load average 解释:

System load averages is the average number of processes that are either in a runnable or uninterruptable state. A process in a runnable state is either using the CPU or waiting to use the CPU. A process in uninterruptable state is waiting for some I/O access, eg waiting for disk. The averages are taken over the three time intervals. Load averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system it means it was idle 75% of the time.

理解关键地方,平均负载是指,在单位时间内,系统中处于 可运行状态不可中断状态 的平均进程数,简称平均活跃进程数。值得注意的是,它与 CPU 使用率没有直接关系

使用命令 ps aux 可以查看进程的状态 stat,如本文要注意的:

  • R 状态,可运行状态 ( Running / Runnable ),正在使用 CPU 或者正在等待 CPU 的进程
  • D 状态,不可中断状态( Uninterruptitle Sleep, 又称 Disk Sleep ),正处于内核态关键流程中的进程,并且是不可中断的。

D 状态为何不可打断呢,举个例子,系统调用起硬件设备的 I/O 响应,为了保证数据的一致性,在磁盘设备返回数据前,它是不能倍其他进程或者中断打断的,如果被打断,就容易造成磁盘数据与进程数据不一致的问题。于是,不可中断(D)状态是系统对进程与硬件设备的一种保护机制。

平均活跃进程数,严格意义上,它是活跃进程数的指数衰减平均值(某个量的下降速度和它的值成比例)。通常情况下,理解为单位时间上的活跃进程数即可。

CPU 利用率与平衡负载

从 CPU 角度来说,Load average 只是反映单位时间内占用 CPU 的进程数量,而 CPU 利用率与进程数量没有直接关系,我们可以使用命令 top vmstat 查看 CPU 的利用率,有以下几个指标:

  • %us:表示用户空间程序的cpu使用率(没有通过nice调度)

  • %sy:表示系统空间的cpu使用率,主要是内核程序。

  • %ni:表示用户空间且通过nice调度过的程序的cpu使用率。

  • %id:空闲cpu

  • %wa:cpu运行时在等待io的时间

  • %hi:cpu处理硬中断的数量

  • %si:cpu处理软中断的数量

  • %st:被虚拟机偷走的cpu

如何衡量合理的平均负载

一般来讲,Load average 低于 CPU 数量的话,机器性能满足服务需求,超出一些也没关系,Load average 不直接代表 CPU 利用率,可能是 io 阻塞比较多。当 Load average 高于 CPU 数量的 70%,就可能导致进程响应变慢,进而影响服务的正常功能。

从历史变化量来看

一般来讲,top uptime 提供 load average 三个时间点的指标,分别是:1分钟、5分钟、15分钟。这反映了系统最近的状态变化趋势。在实际生产环境中,我们需要做长期的监控记录。如果有异常的数值变化,比如平均负载数是CPU的两倍,需要分析调查问题。

从平衡负载与 CPU 利用率 这两类指标综合分析

两类指标的不同,组合出以下几种可能情况:

  • Load average 高,CPU use 高,要么运行了 CPU 密集型进程(线程),要么有大量等待 CPU 的进程(线程)调度
  • Load average 高,CPU use 底,运行了 IO 密集型进程
  • 两者都比较低,正常
  • Load average 底,CPU use 高,这是不存在的

模拟案例与工具

我们如何分析平衡负载与 CPU 利用率这两类指标不同组合的案例,寻找造成指标变化的来源?

以下环境为 Linux Arch 4.19 / 4 CPU / 8G Memory

工具列表

  • stress 系统压力测试工具
  • sysstat 性能分析工具包:
    • mpstat 多核 CPU 分析性能工具,mp 的意思是 multi processors (多处理器)
    • pidstat 进程性能分析工具,pid 意为进程 ID。它用于查看进程的 CPU、内存、I/O以及上下文切换等指标

模拟场景

使用 stress 可以模拟以下场景

  • CPU密集型进程
# 模拟一个进程, 对 cpu 使用率 100%,限时 600s
stress --cpu 1 --timeout 600
  • IO 密集型进程

stress 的 -i 选项,spawn N workers spinning on sync()

# 模拟一个进程不停的执行 sync
stress -i 1 --timeout 600
  • 大量进程的场景
# 模拟16个进程, 对 cpu 使用率 100%,限时 600s
stress --cpu 16 --timeout 600

工具指标

  • mpstat -P ALL 5 监控所有 CPU,每隔5秒输出一组数据,注意指标 %usr 使用率,%iowait IO 阻塞时间,从这可以判断是 CPU 密集型还是 IO 密集型

  • pidstat -u 5 1 统计间隔5秒内,使用过 CPU 的进程的数据,注意指标 %usr 使用率,%wait 等待使用 CPU 的时间,从这可以判断是否进程(线程)过多