Linux 零拷贝技术在权重文件加载中的实测

在大模型在线推理服务冷启动、或者在分布式权重分发节点之间同步数十吉字节的 GGUF/Safetensors 权重文件时，磁盘 I/O 与网络 I/O 往往是最脆弱的瓶颈。

在很多传统实现中，开发者使用标准的 File::read 将文件读取到用户态缓冲区，再通过 TcpStream::write 发送出去。在微观操作系统层面，这个看似平常的操作跨越了 4 次用户态/内核态上下文切换 与 4 次巨额物理内存拷贝，导致 CPU 占用率飙升到 100%，而网络带宽却始终跑不满。

Linux 内核提供了诸如 sendfile、splice 与 vmsplice 等高级零拷贝（Zero-Copy）系统调用。

这些零拷贝技术在加载和分发大模型权重时究竟能带来多少吞吐提升？深入剖析其内核页缓存（Page Cache）流转机制，才能看清系统级 I/O 的最高境界。

+--------------------------------------------------------------------------+
|                       传统 I/O 拷贝 vs Linux sendfile 零拷贝对比            |
+--------------------------------------------------------------------------+
| [传统 read / write 路径 (经历 4 次拷贝 + 4 次上下文切换)]:                  |
| 1. 磁盘 ---> [DMA 拷贝 1] ---> 内核 Page Cache                            |
| 2. 内核 Page Cache ---> [CPU 拷贝 2] ---> 用户态堆内存 (User Buffer)        |
| 3. 用户态堆内存 ---> [CPU 拷贝 3] ---> 内核 Socket 发送缓冲区               |
| 4. 内核 Socket Buffer ---> [DMA 拷贝 4] ---> 网卡硬件队列                  |
+--------------------------------------------------------------------------+
                                    | 零拷贝优化 (sendfile / splice)
                                    v
| [Linux sendfile 零拷贝路径 (经历 0 次 CPU 拷贝 + 2 次上下文切换)]:          |
| 1. 磁盘 ---> [DMA 拷贝 1] ---> 内核 Page Cache                            |
| 2. 内核将 Page Cache 的物理页描述符 (Page Descriptor) 传递给 Socket 描述符  |
| 3. 网卡硬件直接通过 SG-DMA (Scatter-Gather DMA) 从 Page Cache 读取数据发送 |
| -> 🚀 CPU 完全不触碰数据内容，内存总线零开销！                              |
+--------------------------------------------------------------------------+

1. 传统读写链路的“CPU 搬砖困境”

当通过传统的 read + write 传输一个 10GB 的大模型权重文件时：

• CPU 变成了内存搬运工：CPU 必须执行多达 20GB 的数据内存搬运（从内核拷到用户态，再从用户态拷回内核）；
• Cache 严重污染（Cache Pollution）：巨量的权重数据流经 CPU 的 L1/L2/L3 Cache，将正在执行推理计算的高频指令和热点数据全部挤出缓存，导致正在运行的其他业务线程延迟急剧恶化。

2. 基于 sendfile 的网络零拷贝极速分发

sendfile 系统调用允许数据直接在内核空间内部流转，完全不需要经过用户态内存：

use std::fs::File;
use std::os::unix::io::AsRawFd;
use std::net::TcpStream;

pub fn zero_copy_send_weight(file: &File, socket: &TcpStream, count: usize) -> std::io::Result<usize> {
    let in_fd = file.as_raw_fd();
    let out_fd = socket.as_raw_fd();
    let mut offset: libc::off_t = 0;

    unsafe {
        // 调用 Linux sendfile 系统调用
        let bytes_sent = libc::sendfile(
            out_fd,
            in_fd,
            &mut offset,
            count,
        );

        if bytes_sent < 0 {
            Err(std::io::Error::last_os_error())
        } else {
            Ok(bytes_sent as usize)
        }
    }
}

在网卡支持分散-聚集 DMA（Scatter-Gather DMA）的现代服务器上，sendfile 甚至不需要在内核中将数据从 Page Cache 拷贝到 Socket Buffer，它仅需将物理内存页面的地址和偏移量写入 Socket 描述符中，网卡直接通过 DMA 从 Page Cache 读取数据发送，全程 CPU 拷贝次数严格为 0！

3. 基于 splice 的管道级零拷贝流转

如果我们需要在传输过程中对权重数据进行非阻塞的代理转发（例如从一个网络 Socket 读取并写入另一个网络 Socket 或本地文件）：

splice 系统调用可以在两个文件描述符之间通过 Linux 管道（Pipe Buffer）实现零拷贝直连：

// 通过 splice 在两个 fd 之间零拷贝搬运数据
let bytes_transferred = libc::splice(
    in_fd,
    std::ptr::null_mut(),
    out_fd,
    std::ptr::null_mut(),
    len,
    libc::SPLICE_F_MOVE | libc::SPLICE_F_NONBLOCK,
);

4. 生产环境 10GB 权重文件分发压测跑分

在 100Gbps 高速局域网集群中，分发一个 10GB 的 Llama-3-8B 权重模型：

实测性能对比数据

数据给出了最震撼的结论：零拷贝技术不仅将文件传输吞吐提升了近 3 倍，而且将 CPU 负载降低了 98%，彻底保护了 CPU Cache 不受大流量 I/O 冲刷。

充分挖掘操作系统内核的零拷贝红利，是构建高性能分布式底座的硬核底气。