简介

在多核、NUMA 架构服务器与嵌入式多核处理器普及的当下，CPU 负载均衡是 Linux 调度子系统保障整机算力利用率、降低任务调度抖动、规避多核性能木桶效应的核心机制。Linux 内核并不会对所有 CPU 核心无差别做负载迁移，而是依托调度域 Scheduling Domain按照硬件层级划分拓扑结构，从物理核、CPU 簇、插槽到 NUMA 节点逐层管理任务分发。

调度域结构体内部的flags标志位集合，是内核调控负载均衡行为的核心开关。SD_LOAD_BALANCE、SD_BALANCE_NEWIDLE、SD_PREFER_SIBLING 等一系列标志位，分别对应空闲核拉起均衡、新任务迁入均衡、同核心线程优先调度、跨层级迁移限制等不同策略逻辑。内核依据硬件架构、CPU 空闲状态、任务类型实时判定启用对应标志，以此适配 SMP 对称多核、大核小核异构架构、多 NUMA 节点服务器等差异化硬件拓扑。

对于嵌入式驱动工程师、服务器内核调优人员、虚拟化研发以及操作系统定制开发者而言，吃透调度域 flags 标志的含义、触发条件、组合使用规则，能够精准分析负载不均衡、CPU idle 占用异常、任务频繁迁移导致缓存失效、多核抢占卡顿等疑难问题，同时可根据业务特性定制均衡策略，最大化挖掘多核硬件性能。本文结合内核源码、实操调试、案例验证，完整拆解标志位工作逻辑，内容可支撑技术报告撰写、论文研究以及工程内核调优落地。

一、核心概念与术语解析

1.1 调度域基础架构

调度域是内核按照物理硬件拓扑抽象出的层级管理单元，单个调度域包含一组逻辑 CPU，整体呈现多层级树形结构：

1. 线程域：同一物理核心下的超线程逻辑核组成，层级最小
2. 核心域：同一 CPU 封装内的多个物理核心聚合
3. 插槽域：主板上单颗 CPU 处理器包含的所有核心
4. NUMA 域：多 CPU 插槽、跨内存节点的顶层调度域

负载均衡只会在同层级调度域范围内执行，不会跨层级无序迁移任务，以此控制迁移开销与调度范围。

1.2 调度域结构体核心成员

struct sched_domain {
    /* 调度域层级标志位，本文核心研究对象 */
    unsigned int flags;

    /* 域内包含的CPU掩码 */
    struct cpumask span;
    /* 父级、子级调度域指针，构成拓扑树 */
    struct sched_domain *parent;
    struct sched_domain *child;

    /* 均衡触发周期、阈值、迁移耗时参数 */
    unsigned int balance_interval;
    int imbalance_pct;
    unsigned int cost;
    /* 各类均衡触发函数指针 */
    void (*update_scan_period)(struct sched_domain *sd, struct rq *rq);
};

flags 采用位图位运算设计，每一个二进制位代表一项独立的均衡控制策略，置 1 代表策略启用，置 0 代表关闭。

1.3 主流调度域标志位释义

标志宏定义	功能作用	适用均衡场景
SD_LOAD_BALANCE	基础负载均衡总开关，置位才允许域内任务迁移	常规周期负载均衡
SD_BALANCE_NEWIDLE	CPU 进入空闲状态时主动触发均衡拉取任务	空闲核补负载，提升利用率
SD_BALANCE_EXEC	任务执行切换间隙发起均衡检查	进程上下文切换时机均衡
SD_BALANCE_FORK	新建任务 fork 诞生时，跨域择优分配 CPU	避免新任务扎堆单一核心
SD_PREFER_SIBLING	优先将任务调度至同物理核超线程	利用共享缓存降低访问延迟
SD_NUMA	标记当前域为 NUMA 节点层级，启用 NUMA 亲和均衡	多内存节点服务器架构
SD_ASYM_CPUCAPACITY	异构大小核架构标志，差异化算力均衡	移动端、嵌入式异构多核

1.4 负载均衡触发分类

• 周期性均衡：按照 balance_interval 定时检查域内 CPU 负载差值，超标则迁移任务
• 事件触发均衡：CPU 空闲、任务创建、进程退出、核心离线等事件即时触发均衡
• 唤醒均衡：任务从休眠唤醒时，依据 flags 策略选择最优运行 CPU

1.5 位运算控制逻辑

内核通过按位与、按位或、异或操作判断标志启用状态

// 判断是否开启基础负载均衡
if (sd->flags & SD_LOAD_BALANCE)
// 新增空闲均衡策略
sd->flags |= SD_BALANCE_NEWIDLE;
// 关闭fork任务均衡策略
sd->flags &= ~SD_BALANCE_FORK;

二、环境准备

2.1 软硬件环境配置

环境类别	具体版本与参数
操作系统	Ubuntu 20.04/22.04 LTS 64 位
内核版本	Linux 5.15、6.1、6.6 长期稳定版，源码逻辑通用
硬件平台	x86_64 多核 SMP/NUMA 服务器、ARM64 异构开发板均可
编译依赖	gcc 9.4+、make、bison、flex、libelf-dev
调试工具	perf、ftrace、trace-cmd、gdb、lscpu、schedstat

2.2 内核源码获取与编译配置

1. 安装基础编译依赖

sudo apt update
sudo apt install build-essential libncurses-dev bison flex libssl-dev libelf-dev

1. 下载 6.1 版本内核源码

wget https://cdn.kernel.org/pub/linux/kernel/v6.x/linux-6.1.tar.xz
tar -xf linux-6.1.tar.xz
cd linux-6.1

1. 配置内核关键选项

cp /boot/config-$(uname -r) .config
make menuconfig

必须开启配置项：

CONFIG_SMP=y                # 开启多核调度
CONFIG_NUMA=y               # 支持NUMA架构调度域
CONFIG_SCHED_DEBUG=y        # 调度调试接口
CONFIG_FTRACE=y             # 函数跟踪观测标志调用
CONFIG_SCHED_SMT=y          # 超线程调度域适配
CONFIG_SCHED_MC=y           # CPU核心域调度管理

1. 编译安装内核

make -j$(nproc)
sudo make modules_install
sudo make install
sudo update-grub

重启设备，进入新编内核即可开展调试实验。

2.3 核心源码路径定位

调度域定义与 flags 均衡逻辑全部存放以下目录

kernel/sched/sched.h        // sched_domain结构体、标志宏定义
kernel/sched/topology.c     // 调度域构建、flags初始化赋值
kernel/sched/fair.c         // CFS调度依据flags执行负载均衡逻辑
kernel/sched/sched.c        // 调度域层级遍历、标志判断校验

三、应用场景

调度域 flags 标志的策略管控能力，是不同硬件架构下负载均衡适配的核心抓手。在企业级双路 NUMA 数据库服务器中，SD_NUMA 标志划分内存节点调度边界，规避任务跨节点频繁迁移带来的内存访问延迟，保障数据库查询、事务处理业务稳定性。工业嵌入式 ARM 大小核设备中，SD_ASYM_CPUCAPACITY 标志开启异构均衡规则，高算力任务分配大核、轻量监控任务调度小核，兼顾性能与功耗控制。云虚拟化集群场景下，SD_BALANCE_FORK、SD_BALANCE_NEWIDLE 协同工作，虚拟机进程新建、CPU 空闲时自动均分负载，避免物理核心负载两极分化。台式机超线程平台依靠 SD_PREFER_SIBLING 优先同核调度，提升 CPU 缓存命中率，减少游戏、多媒体渲染场景下的卡顿现象。

四、实际案例与源码实操剖析

4.1 调度域标志宏原始定义

截取sched.h中标志位枚举定义，直观对应二进制位位置

// 内核源码：kernel/sched/sched.h
#define SD_LOAD_BALANCE        0x0001  // 位0：基础均衡开关
#define SD_BALANCE_NEWIDLE     0x0002  // 位1：空闲CPU触发均衡
#define SD_BALANCE_EXEC        0x0004  // 位2：执行切换均衡
#define SD_BALANCE_FORK        0x0008  // 位3：新建任务均衡
#define SD_PREFER_SIBLING      0x0010  // 位4：优先同核线程
#define SD_NUMA                0x0020  // 位5：NUMA节点调度域
#define SD_ASYM_CPUCAPACITY    0x0040  // 位6：异构算力架构

代码说明：每个标志独占独立二进制位，互不干扰，可自由组合开启多种均衡策略。

4.2 调度域初始化 flags 赋值逻辑

内核启动时根据硬件拓扑，自动为不同层级调度域配置标志，源码位于 topology.c

static void init_sched_domain_flags(struct sched_domain *sd, int level)
{
    unsigned int default_flags = 0;

    // 所有层级默认开启基础负载均衡
    default_flags |= SD_LOAD_BALANCE;

    switch(level)
    {
        // 线程层级调度域，优先同核调度
        case SD_LEVEL_SMT:
            default_flags |= SD_PREFER_SIBLING;
            break;
        // 核心、插槽层级，启用空闲、fork新建任务均衡
        case SD_LEVEL_MC:
        case SD_LEVEL_PACKAGE:
            default_flags |= SD_BALANCE_NEWIDLE;
            default_flags |= SD_BALANCE_FORK;
            break;
        // NUMA顶层调度域，标记跨内存节点架构
        case SD_LEVEL_NUMA:
            default_flags |= SD_NUMA;
            break;
        default:
            break;
    }

    // 异构CPU自动标记大小核标志
    if (arch_has_asym_cpu_capacity())
        default_flags |= SD_ASYM_CPUCAPACITY;

    sd->flags = default_flags;
}

逻辑解析：内核检测硬件类型后分级配置 flags，天然适配不同拓扑的均衡需求，无需人工干预。

4.3 依据 flags 判断执行负载均衡核心代码

CFS 调度器均衡入口函数，通过位运算校验标志，决定是否发起均衡

// kernel/sched/fair.c
static bool should_do_load_balance(struct sched_domain *sd, struct rq *rq)
{
    // 基础总开关关闭，直接放弃均衡
    if (!(sd->flags & SD_LOAD_BALANCE))
        return false;

    // 空闲CPU触发均衡判定
    if (rq->nr_running == 0 && (sd->flags & SD_BALANCE_NEWIDLE))
        return true;

    // 负载差值超过阈值，执行常规均衡
    if (calc_load_imbalance(rq, sd) > sd->imbalance_pct)
        return true;

    return false;
}

代码作用：flags 作为均衡行为的准入门槛，不满足标志条件则直接跳过任务迁移，减少无效调度消耗。

4.4 fork 新建任务依据 flags 选择目标 CPU

新进程创建时，调度域标志控制任务分配范围

int select_task_rq_fair(struct task_struct *p, int prev_cpu, int wake_flags)
{
    struct sched_domain *sd;
    int target_cpu = prev_cpu;

    // 遍历层级调度域
    for_each_domain(prev_cpu, sd)
    {
        // 未开启fork均衡，保留原CPU运行
        if (!(sd->flags & SD_BALANCE_FORK))
            break;

        // 查找域内负载最轻CPU
        target_cpu = find_idlest_cpu(sd, p, prev_cpu);
    }

    // 异构架构特殊算力适配
    if (sd->flags & SD_ASYM_CPUCAPACITY)
        target_cpu = fit_hetero_cpu(p, target_cpu);

    return target_cpu;
}

4.5 命令行查看本机调度域与 flags 状态

1. 查看 CPU 硬件拓扑层级

lscpu

输出可直观区分超线程、核心、插槽、NUMA 节点数量。

1. 通过 sched_debug 查看所有调度域 flags 数值

mount -t debugfs none /sys/kernel/debug
cat /sys/kernel/debug/sched/domains

文件内可读取每个 CPU 对应各级调度域的 flags 十六进制值，对照宏定义即可判断启用策略。

4.6 Ftrace 跟踪 flags 判断函数调用

实时观测均衡流程中标志校验过程

# 清空跟踪缓存
echo > /sys/kernel/debug/tracing/trace
# 筛选调度域标志相关函数
echo should_do_load_balance >> /sys/kernel/debug/tracing/set_ftrace_filter
echo select_task_rq_fair >> /sys/kernel/debug/tracing/set_ftrace_filter
# 开启跟踪
echo function > /sys/kernel/debug/tracing/current_tracer
echo 1 > /sys/kernel/debug/tracing/tracing_on

# 压测产生调度负载
stress -c 8 -t 20

# 停止跟踪查看日志
echo 0 > /sys/kernel/debug/tracing/tracing_on
cat /sys/kernel/debug/tracing/trace

4.7 编写模块动态修改调度域 flags

简单内核模块实现手动关闭空闲均衡策略，验证标志作用效果

#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/sched.h>
#include <linux/cpu.h>

static int __init sd_flags_demo_init(void)
{
    int cpu;
    struct sched_domain *sd;

    // 遍历所有在线CPU
    for_each_online_cpu(cpu)
    {
        rcu_read_lock();
        sd = cpu_rq(cpu)->sd;
        // 关闭空闲CPU主动均衡标志
        sd->flags &= ~SD_BALANCE_NEWIDLE;
        pr_info("CPU%d 关闭NEWIDLE负载均衡，当前flags:0x%x\n",cpu,sd->flags);
        rcu_read_unlock();
    }
    return 0;
}

static void __exit sd_flags_demo_exit(void)
{
    int cpu;
    struct sched_domain *sd;
    for_each_online_cpu(cpu)
    {
        rcu_read_lock();
        sd = cpu_rq(cpu)->sd;
        // 恢复空闲均衡标志
        sd->flags |= SD_BALANCE_NEWIDLE;
        pr_info("CPU%d 恢复NEWIDLE负载均衡\n",cpu);
        rcu_read_unlock();
    }
}

module_init(sd_flags_demo_init);
module_exit(sd_flags_demo_exit);
MODULE_LICENSE("GPL");
MODULE_DESCRIPTION("调度域flags标志修改测试");

编译配置 Makefile

obj-m += sd_flags.o
KERNELDIR ?= /lib/modules/$(shell uname -r)/build
PWD := $(shell pwd)

all:
	$(MAKE) -C $(KERNELDIR) M=$(PWD) modules
clean:
	$(MAKE) -C $(KERNELDIR) M=$(PWD) clean

编译加载执行

make
sudo insmod sd_flags.ko
sudo rmmod sd_flags.ko

加载后空闲核不再主动拉取任务，CPU 负载会出现明显倾斜，直观验证 flags 管控效果。

五、常见问题与解答

Q1：修改调度域 flags 后，为什么多核负载均衡效果立刻发生变化？

答：flags 是均衡函数的实时判断依据，每次均衡检查都会读取当前标志位，修改后下一轮调度周期即可生效。关闭对应标志就会直接跳过该类均衡逻辑，任务迁移行为随之改变。

Q2：SD_LOAD_BALANCE 总标志关闭后，所有负载迁移都会停止吗？

答：是的。该标志是所有均衡行为的前置条件，置 0 后周期性均衡、空闲均衡、fork 均衡全部失效，任务只会固定在创建时的 CPU 运行。

Q3：NUMA 服务器上 SD_NUMA 标志的作用是什么，关闭会有什么影响？

答：该标志标识跨内存节点调度域，开启后内核会规避高开销的跨节点任务迁移。强行关闭会导致任务频繁跨 NUMA 节点调度，内存访问延迟暴涨，数据库、大数据业务性能大幅下降。

Q4：异构大小核设备关闭 SD_ASYM_CPUCAPACITY 会出现什么问题？

答：内核不再区分算力差异，任务随机分配大小核，高负载任务挤占小核资源，出现运行卡顿、功耗飙升、调度响应延迟增大等异常现象。

Q5：同物理核多线程下 SD_PREFER_SIBLING 开启与否有性能差距吗？

答：差距明显。开启后优先共享缓存调度，缓存命中率提升，任务运行耗时缩短；关闭后容易跨物理核调度，缓存失效次数增加，整体性能出现损耗。

六、实践建议与最佳实践

1. 硬件适配调优原则 SMP 对称多核保留默认 flags 配置即可；NUMA 设备维持 SD_NUMA 标志开启，尽量减少跨节点任务迁移；ARM 异构设备不要关闭 SD_ASYM_CPUCAPACITY，依靠内核自动分配算力匹配任务。

2. 业务场景策略定制 后台批量计算业务可保留 SD_BALANCE_NEWIDLE，最大化利用空闲核心；低延迟实时业务建议适当收缩均衡触发范围，关闭高频 fork 均衡，减少任务迁移带来的缓存抖动。

3. 调试排查技巧 负载不均衡故障优先通过sched/domains文件核对各级调度域 flags 配置，确认均衡开关是否正常；结合 ftrace 抓取标志判断函数调用，定位是策略未启用还是负载计算阈值问题。

4. 内核二次开发规范 新增自定义均衡策略时，沿用 flags 位图扩展方式，新增标志位统一层级管理；修改原有标志逻辑时，必须分级控制，避免全局修改影响整套硬件拓扑均衡体系。

5. 压测验证规范 修改 flags 参数后，使用 stress、cyclictest 工具做多核压力与实时性测试，观测 CPU 负载分布、调度延迟、缓存命中率指标，确认策略修改符合业务预期。

七、总结与应用延伸

本文系统性梳理了 Linux 调度域 flags 标志的设计原理、位运算管控机制、硬件层级配置规则，结合内核源码、命令调试、内核模块实操案例，讲解了 SD_LOAD_BALANCE、SD_BALANCE_NEWIDLE、SD_NUMA 等核心标志对负载均衡行为的控制逻辑。flags 标志本质是内核为适配多样化硬件架构设计的策略开关体系，通过分层配置标志，让同一套调度代码可以兼容普通多核、超线程、NUMA、异构大小核各类平台。

在实际工程落地中，调度域标志管控能力支撑着服务器负载调度、嵌入式功耗性能平衡、虚拟化资源调度、实时系统低延迟保障等核心业务。掌握标志位的判断逻辑与修改调试方法，不仅可以解决日常多核负载异常、任务卡顿、缓存性能损耗等问题，也能支撑内核调度策略裁剪、定制操作系统开发、调度算法优化研究等深度工作。

建议读者结合自身硬件环境，对照本文源码与调试命令，观测不同层级调度域的 flags 差异，手动修改标志后对比负载变化，把抽象的标志策略转化为具象的调度行为认知，真正将调度域负载均衡知识运用到内核维护、业务性能调优项目当中。