操作系统安全与端侧 AI 推理部署：上下文和工具该怎么分工

端侧 AI 部署时，不能直接把云端大模型的资源假设和权限模型套到手机、车机或嵌入式 Linux 设备上。

云端与端侧的可用内存、上下文长度和权限模型不同。把完整手册、业务状态和大量历史日志一次写入 Prompt，可能挤占端侧的推理内存；是否触发 OOM 取决于模型、上下文长度和设备配额。

在端侧部署小模型（SLM）时，应按设备资源、权限模型和业务风险划分上下文（Context）与工具（Tool Calling）的职责。

1. 内存受限的端侧设备：避免全量 Prompt 堆叠

端侧与车载设备的推理进程往往有明确的内存配额，但容量取决于硬件、模型和系统策略。若为覆盖全量场景，把完整 CAN 协议、控制指令和历史上下文都写入 Prompt，KV Cache 和输入处理可能挤占可用内存。

KV Cache 的预填充阶段可能明显抬高内存占用。超过 cgroup 或系统可用内存时，进程可能被 OOM 机制终止。

端侧模型适合在明确权限内理解状态、提出建议或选择受限操作；它不应被赋予绕开系统权限的控制能力。

基于此目标，需厘清“上下文”与“工具”的职责边界：

2. 接口契约设计：上下文约束状态，工具负责自治执行

在设计端侧 Tool Calling 接口时，若直接允许模型输出具体的系统 shell 指令（如直接输出 exec("ifconfig eth0 down") 或 system("reboot")），在操作系统安全层面存在严重安全风险。

在稳健的端侧安全架构中：

1. 上下文仅提供状态约束：例如定义“系统当前处于低电量模式，禁止执行能量等级大于 3 的高耗电操作”。
2. 工具仅暴露原子化的安全 API：如 set_power_mode(mode: enum)。模型仅输出标准的数据模型（如 JSON 或 Protobuf 结构体），实际的底座控制由受 OS 安全沙箱保护的 C++/Rust 守护进程完成。

数据模型的设计需做到语义闭环与强类型约束。同时，当工具执行失败（如权限不足、硬件无响应或参数越界）时，OS 捕获到的底层错误代码（如 EACCES、ETIMEDOUT）不应直接原样抛给模型，需归一化映射为模型可理解的结构化错误语义。

3. 端侧 AI 安全架构与控制流

下面给出一条从接收指令到通过 IPC 调用受限服务的参考链路：

通过 POSIX IPC 沙箱与 Seccomp 系统调用拦截，即使模型受到 Prompt 注入攻击输出了非预期的 Tool Call 参数，亦会在 OS 安全守护进程层被强制拦截，无法触及底层硬件驱动。

4. C++ 示例：沙箱隔离 Tool-Calling 执行与错误语义映射

下面的 C++17 代码演示了在 Linux 端侧环境中实现安全的 Tool-calling 执行与错误语义归一化映射引擎。

#include <iostream>
#include <string>
#include <unordered_map>
#include <functional>
#include <memory>
#include <cerrno>
#include <cstring>

// 1. 定义归一化的错误语义结构体 (供 AI 上下文读取)
struct ToolExecutionResult {
    bool success;
    int raw_errno;
    std::string error_semantic; // 归一化的安全语义说明
    std::string payload;        // 执行成功时的标准数据 payload
};

// 2. 模拟端侧硬件控制接口：蓝牙广播开关
int native_set_bluetooth_state(bool enable, int caller_uid) {
    // 安全检查：仅允许 uid == 1000 (安全守护进程) 执行
    if (caller_uid != 1000) {
        return EACCES; // Permission denied
    }
    // 模拟底座硬件接口调用
    std::cout << "[OS Kernel Driver] Bluetooth state set to: " << (enable ? "ON" : "OFF") << std::endl;
    return 0; // Success
}

// 3. 工具执行与安全沙箱映射引擎
class SecuritySandboxToolEngine {
public:
    using ToolHandler = std::function<ToolExecutionResult(const std::string& params, int uid)>;

    SecuritySandboxToolEngine() {
        RegisterTools();
    }

    // 执行 Tool Calling
    ToolExecutionResult ExecuteTool(const std::string& tool_name, const std::string& params, int caller_uid) {
        auto it = tools_map_.find(tool_name);
        if (it == tools_map_.end()) {
            return ToolExecutionResult{
                false, 
                ENOENT, 
                "E_TOOL_NOT_FOUND: 请求的工具名称不存在", 
                ""
            };
        }
        // 调用具体工具句柄
        return it->second(params, caller_uid);
    }

private:
    void RegisterTools() {
        // 注册蓝牙开关控制工具
        tools_map_["set_bluetooth"] = [this](const std::string& params, int uid) -> ToolExecutionResult {
            bool enable = (params == "true" || params == "1");
            
            // 模拟跨 IPC 调用内核驱动
            int ret = native_set_bluetooth_state(enable, uid);
            
            if (ret != 0) {
                // 将底层 OS errno 归一化映射为 LLM 容易理智决策的错误语义
                return MapErrnoToSemantic(ret, "set_bluetooth");
            }
            
            return ToolExecutionResult{
                true, 
                0, 
                "SUCCESS", 
                "{\"status\": \"updated\", \"bluetooth\": " + std::string(enable ? "true" : "false") + "}"
            };
        };
    }

    // 将底层系统错误码映射为结构化安全语义
    ToolExecutionResult MapErrnoToSemantic(int sys_errno, const std::string& action_name) {
        std::string semantic;
        switch (sys_errno) {
            case EACCES:
            case EPERM:
                semantic = "E_SECURITY_DENIED: 当前 AI 进程缺乏对 action [" + action_name + "] 的操作系统提权许可";
                break;
            case ETIMEDOUT:
                semantic = "E_HARDWARE_TIMEOUT: 底层硬件驱动响应超时，请提示用户重试";
                break;
            case EINVAL:
                semantic = "E_INVALID_PARAM: 传入的参数未能通过底层 API 校验";
                break;
            default:
                semantic = "E_SYSTEM_UNKNOWN: 发生未知系统级错误 code=" + std::to_string(sys_errno);
                break;
        }
        return ToolExecutionResult{false, sys_errno, semantic, ""};
    }

    std::unordered_map<std::string, ToolHandler> tools_map_;
};

// ----------------- 模拟运行验证 -----------------
int main() {
    SecuritySandboxToolEngine engine;

    std::cout << "=== 端侧 AI 沙箱 Tool Calling 校验模拟 ===" << std::endl;

    // 场景 1: 正常通过安全守护进程 (UID 1000) 调用
    std::cout << "\n[测试 1: 合法 IPC 鉴权请求]" << std::endl;
    auto res1 = engine.ExecuteTool("set_bluetooth", "true", 1000);
    std::cout << "Success: " << (res1.success ? "YES" : "NO") 
              << " | Semantic: " << res1.error_semantic 
              << " | Payload: " << res1.payload << std::endl;

    // 场景 2: 未授权进程 (UID 2001) 企图越权调用
    std::cout << "\n[测试 2: 越权请求拦截与错误语义映射]" << std::endl;
    auto res2 = engine.ExecuteTool("set_bluetooth", "true", 2001);
    std::cout << "Success: " << (res2.success ? "YES" : "NO") 
              << " | Errno: " << res2.raw_errno 
              << " | Semantic: " << res2.error_semantic << std::endl;

    return 0;
}

在 C++ 防护层的设计中，模型无法直接访问底层的 OS 硬件或 kernel driver。模型发起的 Tool Call 首先经过 IPC 校验，若触发 EACCES，系统自动转换为 E_SECURITY_DENIED 的标准语义反馈给模型决策层。

5. 端侧 AI 部署落地准则

在端侧环境落地 AI 功能时，建议遵循以下工程防护准则：

1. 上下文最小化与按需截断：KV Cache 只保留完成当前任务所需的状态。保留多少轮对话、是否摘要，应结合模型、内存上限和任务连续性测试。
2. IPC 沙箱与最小权限：工具调用可经 Unix Domain Socket 发送给受限守护进程，也可采用其他经过认证的 IPC。AI 进程不应以 root 身份运行或直接访问不需要的 /dev 节点。
3. 强类型与归一化错误码：确保所有 Tool Calling 输入输出符合 Protobuf 或 JSON Schema 定义，底层系统错误统一映射为分类明确的业务语义。

把模型输出限制在经过认证、校验和审计的调用链中，端侧 AI 才能在不扩大系统权限面的前提下参与业务。