端侧智能推理评审，怎样发现隐性风险

1. 内存隔离与权限越界：端侧 AI 推理部署的关键隐患

在把大语言模型或小参数视觉/语言模型（如 Llama-3-8B、Qwen-2-7B）量化部署至移动端、边缘计算设备或 Linux 端侧硬件时，工程关注点通常集中在 Quantization（量化）、TPS（每秒吐字数）以及 NPU/GPU 算力利用率上。

然而，一旦端侧推理服务接入真实的操作系统环境，底层安全隔离与系统级质量隐患便会凸显。在嵌入式 Linux 端侧 AI 推理模块的代码审查中，易出现隐蔽的内存越界访问与未授权权重读取风险：

加载模型权重时，需要审查映射权限、调试接口和进程隔离配置。/proc/<pid>/mem 的可访问性受 ptrace 权限、LSM 和系统配置影响，不能把它视为低权限进程默认可读的通道；输入边界缺失则可能导致进程崩溃或内存破坏。

端侧 AI 部署依赖完整的底层防御体系。模型权重作为核心资产，其安全隔离、内存分配的权限边界以及系统调用的收紧，构成了端侧系统工程的基础防线。

2. 代码审查清单（Code Review Checklist）：四大核心检查项

在执行端侧 AI 推理模块的代码审查（Code Review）时，需对照以下四项标准检查项进行逐行核查：

2.1 检查项 1：模型权重 Mmap 映射的内存保护标记

检查代码中 mmap 的 prot 参数。若传入 PROT_READ | PROT_WRITE | PROT_EXEC 组合，会为 JIT 攻击与代码注入留存可乘之机。

• ❌ 不符规范：mmap(NULL, size, PROT_READ | PROT_WRITE | PROT_EXEC, MAP_SHARED, fd, 0)
• ✅ 较稳妥的做法：权重映射通常只授予 PROT_READ。若解密过程需要可写缓冲区，应在完成后按实际需要收紧权限，并评估密钥和明文的生命周期。

2.2 检查项 2：动态 Tensor 缓冲区的边界校验

端侧模型在处理变长上下文（Context）输入或 Prompt 时，需要动态分配 Tensor 内存空间。审查时需重点确认：

• 缓冲区大小计算逻辑中是否存在整数溢出（Integer Overflow）风险；
• 是否对输入的 Token ID 数组长度进行了严格的上界校验，防止过大 Tensor 撑爆共享内存。

2.3 检查项 3：NPU/GPU 驱动上下文的清理与泄露

在 Linux 多进程场景中，若推理进程发生异常退出，需检查驱动层（如 OpenCL/Vulkan Context 或 NPU Device Handle）是否会在硬件寄存器或显存区域残留上一轮推理的中间 Tensor 状态。

2.4 检查项 4：系统调用（Syscall）白名单收紧

端侧推理进程除了读取模型权重、访问硬件驱动以及响应 IPC 消息外，无需执行 fork、execve 或建立任意网络连接。审查时需确认是否启用了 seccomp-bpf 机制以实现 Syscall 降权。

3. 端侧推理安全门禁与沙箱隔离实现

下面的 C++17 代码演示 seccomp 的最小过滤器。它只拦截一个系统调用，不能单独构成完整沙箱；规则需按架构、运行时依赖和测试结果扩展：

#include <iostream>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/prctl.h>
#include <linux/seccomp.h>
#include <linux/filter.h>
#include <stddef.h>

class SecureInferenceEngine {
private:
    void* model_mmap_ptr = nullptr;
    size_t model_size = 0;

public:
    // 1. 安全加载模型权重：严格控制内存访问权限
    bool LoadModelWeights(const char* filepath, size_t size) {
        int fd = open(filepath, O_RDONLY);
        if (fd < 0) {
            perror("Failed to open model file");
            return false;
        }

        model_size = size;
        // 核心关注点：仅授予 READ 权限，并使用 MAP_PRIVATE 隔离修改
        model_mmap_ptr = mmap(NULL, model_size, PROT_READ, MAP_PRIVATE, fd, 0);
        close(fd);

        if (model_mmap_ptr == MAP_FAILED) {
            perror("mmap failed");
            return false;
        }
        return true;
    }

    // 2. 启用 Seccomp 沙箱隔离：限制非关键系统调用
    bool EnableSyscallSandbox() {
        // 阻止子进程通过 execve 提升权限或获取 shell
        if (prctl(PR_SET_NO_NEW_PRIVS, 1, 0, 0, 0) < 0) {
            perror("PR_SET_NO_NEW_PRIVS failed");
            return false;
        }

        // 构建 Seccomp BPF 过滤器：拒绝 execve (x86_64 架构下系统调用号 59)
        struct sock_filter filter[] = {
            // 检查系统调用号
            BPF_STMT(BPF_LD | BPF_W | BPF_ABS, (offsetof(struct seccomp_data, nr))),
            // 若为 __NR_execve，返回 ERRNO(EACCES) 进行拦截
            BPF_JUMP(BPF_JMP | BPF_JEQ | BPF_K, 59, 0, 1),
            BPF_STMT(BPF_RET | BPF_K, SECCOMP_RET_ERRNO | (EACCES & SECCOMP_RET_DATA)),
            // 其他必要的 Syscall 予以放行
            BPF_STMT(BPF_RET | BPF_K, SECCOMP_RET_ALLOW)
        };

        struct sock_fprog prog = {
            .len = (unsigned short)(sizeof(filter) / sizeof(filter[0])),
            .filter = filter,
        };

        if (prctl(PR_SET_SECCOMP, SECCOMP_MODE_FILTER, &prog) < 0) {
            perror("Failed to apply seccomp filter");
            return false;
        }
        return true;
    }

    void ExecuteInference(const float* input_tensor, float* output_tensor, int tensor_len) {
        // 执行端侧 AI 推理逻辑
        std::cout << "[Security Gate] Inference running in restricted sandbox..." << std::endl;
    }

    ~SecureInferenceEngine() {
        if (model_mmap_ptr && model_mmap_ptr != MAP_FAILED) {
            munmap(model_mmap_ptr, model_size);
        }
    }
};

4. 工程调试方法：使用 pmap 与 gdb 定位模型内存访问异常

在端侧环境调试中，若怀疑模型映射内存被第三方动态库异常读取或改写，可结合 Linux 内核工具 pmap 与 gdb 进行排查定位。

4.1 使用 pmap 检查进程虚拟内存映射属性

在宿主机终端执行以下命令，核查推理进程的内存分配属性：

# 查看指定 PID 的端侧推理进程内存映射详情
pmap -x 4102 | grep -E "r-x|rw-|r--"

重点排查是否存在同时标记为 rwx（可读可写可执行）的内存段。若发现该类段，表明底层 C/C++ 动态库链接了不安全的内存分配逻辑。

4.2 使用 gdb 硬件断点捕捉异常写入

针对解密后的内存区域，可利用 x86/ARM64 架构的硬件调试寄存器设置内存写入监视点：

(gdb) attach 4102
(gdb) # 假设解密后模型权重的起始虚拟地址为 0x7fff50000000
(gdb) watch *(char**)0x7fff50000000
(gdb) continue

若系统中有其他线程试图覆盖该段内存，gdb 会精确中断在对应汇编指令位置，并输出完整的线程调用栈（Backtrace）。

5. 质量门禁闭环：构建自动化安全流水线

为保证审查标准落地，工程团队需将相关检查规则嵌入 CI/CD 自动化流水线：

1. 静态代码扫描（SAST）：在 CI 阶段集成 cppcheck 与 clang-tidy，设置规则拦截未经边界校验的 memcpy 以及权限范围过大的 mmap 调用；
2. 动态内存审计（Sanitizer）：在测试阶段开启 -fsanitize=address,undefined，对推理过程中的 Buffer 溢出与 Use-After-Free 异常进行自动捕捉；
3. 模型签名校验机制：端侧加载模型前，需校验其 Hash 签名（如 Ed25519），防止本地权重文件被异常替换。

端侧推理的安全性来自边界检查、最小权限、签名验证和持续测试的组合。评审时应把规则与设备型号、运行时版本和实际威胁模型对应起来。