🖥️ 基础环境

📦 驱动和SDK安装

请参考：UOS V2500 沐曦驱动安装手册

🐳 容器化部署

1. 拉取官方镜像

docker pull registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.9

2. 创建并启动容器

docker run -d \
  --network host \
  --ipc=host \
  --name=sglang-api \
  --shm-size 100G \
  --ulimit memlock=-1 \
  --ulimit nofile=1024000 \
  --device=/dev/dri \
  --device=/dev/mxcd \
  --device=/dev/mem \
  --group-add video \
  --privileged \
  --security-opt seccomp=unconfined \
  --security-opt apparmor=unconfined \
  -e CUDA_VISIBLE_DEVICES=1 \
  -v /data/models/:/models:ro \
  registry.uniontech.com/uos-ai/uos-server-25-metax-sglang:v0.5.9 \
  sleep infinity

3. 进入容器环境

docker exec -it sglang-api /bin/bash

4.启动 sglang 推理服务

python -m sglang.launch_server --model-path /models/DeepSeek-R1-Distill-Qwen-32B \
--host 0.0.0.0 \
--port 9100 \
--served-model-name deepseek \
--tensor-parallel-size 2 \
--mem-fraction-static 0.9 \
--trust-remote-code \
--attention-backend flashinfer \
--enable-metrics \
--disable-radix-cache \
--disable-chunked-prefix-cache \
--disable-cuda-graph

📷 服务启动成功截图：

✅ 服务验证

发送测试请求

curl -X POST http://localhost:9100/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek",
    "messages": [{"role": "user", "content": "你好，请介绍一下自己"}],
    "temperature": 0.7,
    "max_tokens": 200,
    "stream": false
  }'

📷 预期返回 JSON 格式的模型回复：