背景

2026 年 10 月 13 日,深圳,润迅在私有化 AI 基座发布会暨润迅 AI 生态交流会上发布面向企业私有化场景的 AI 基座,方案基于三十余年数据中心与系统集成经验。会上,AI 产品负责人隋成龙把落地路径概括为三道关:环境关、部署关、核算关。

非厂商立场,以下为基于公开信息的工程拆解,涉及取舍与代价的部分为第三方分析。

三道关的原始表述

  • 环境关:驱动、CUDA 版本和容器配置繁多,多家厂商软硬件需逐一联调
  • 部署关:没有统一运维平台,各部门用命令行各自启动模型,故障难排查、操作难审计
  • 核算关:多个部门同时调用模型,缺权限隔离和用量统计,算不清 AI 投入换来了什么

三层职责划分

层定位主要职责交付形态
环境层基础操作系统操作系统、算力驱动、容器镜像与运行时预置联调完成随整机预装,上架即可调用算力
管控层统一运维平台推理引擎纳管与调度、模型生命周期、资源监控、审计平台化部署
网关层企业模型网关本地与外部模型统一入口、按用户和应用分配额度、费用追溯统一调用入口

对应到产品形态:环境层是 XunOS 基础操作系统,管控层是 MaxControl 统一管控平台,网关层是 MaxModel 模型网关。

企业自建常见做法 vs 三层各自解决什么

环节自建常见做法对应层能力差异与适用判断
环境搭建逐台装驱动、对 CUDA 版本、配容器运行时软硬件预先适配,兼容主流 GPU 与国产 GPU、x86 与 ARM;整站维护预适配的收益体现在硬件批次变化时的环境一致性,型号稳定的场景差异不明显
模型来源各自从 Hugging Face、ModelScope 拉权重对接开源社区,Qwen、Llama、DeepSeek 等本地部署多来源时版本与权限由谁管,是自建同样要回答的问题
引擎管理Ollama、llama.cpp、vLLM、SGLang 各自启动统一管理推理引擎,集中调度多框架并存时,全局视图要么自建要么外购,区别只在投入方式
生命周期命令行启动 / kill 进程部署、启动、停止、下架一键完成操作是否留痕,直接影响事后能否追溯
资源监控各看各的 nvidia-smi实时显示 CPU、内存、显存、网络吞吐单点监控与全局视图是两个粒度,按集群规模决定是否需要后者
计量配额通常需自行实现统计为每个用户、每个应用设定调用频次、Token 额度和并发上限费用能否追溯到部门和应用,决定了 ROI 能不能算出来
外部模型各业务自行对接按安全策略接入外部商用模型,数据是否出内网由企业决定安全边界集中定义,代价是多一层策略配置

关于标准

润迅参与编制《人工智能操作系统通用技术要求》《人工智能操作系统权限管理要求》两项国家标准。

落地路径

一次建设、后续复用:新增部门、模型或设备,可沿用首次建设的环境、平台和管理规则。建议政企客户分三步:

  1. 盘点现有资产——算力设备和网络环境
  2. 选定一个场景——问题最明确、效果最易衡量的
  3. 部署验证——完成环境接入和模型部署,用业务产出检验效果

需要提前评估的三点

  • 抽象层的绑定成本:统一管理带来效率,也带来依赖。接口与数据结构的绑定需在选型阶段评估。
  • 计量口径对齐:不同推理框架 Token 计数方式有差异,跨引擎汇总时偏差被放大。
  • 规模适配:设备少、调用方单一的场景,三层未必都需要。优先补计量与审计。
Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐