spring ai alibaba之Linux服务器部署大模型(离线)
·
步骤 2:把文件上传到你的 Linux 服务器
用工具:
- Xshell
- FinalShell
- WinSCP
- MobaXterm
上传到服务器目录,例如:/root/data/ollama
步骤 3:给执行权限
命令:chmod +x /root/data/ollama
步骤 4:启动服务
命令:ollama serve
步骤 5:设置开机自启
命令:vi /etc/systemd/system/ollama.service
粘贴下面内容到ollama.service

[Unit] Description=Ollama Service After=network.target [Service] ExecStart=/usr/local/bin/ollama serve User=root Restart=always RestartSec=3 [Install] WantedBy=multi-user.target

保存退出,依次执行命令:
systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
步骤 6:验证是否安装成功
命令:ollama --version
出现版本号 = 成功!
二、离线手动安装大模型(Linux)
有网机器下载模型包:ollama pull qwen2.5:7b
导出模型: ollama save qwen2.5:7b qwen2.5-7b.tar.gz
上传到离线服务器:ollama load qwen2.5-7b.tar.gz (怎么上传到服务器参考前面说到的步骤2,在上传后的目录下执行命令)
开始运行你的大模型 命令:ollama run qwen2.5:7b
额外小知识:
执行脚本 命令:sh ollama-setup.sh

#!/bin/bash # 启用全部 GPU echo "OLLAMA_NUM_GPU=all" | sudo tee -a /etc/environment # 修改模型存储路径(你可以自己改成你想要的目录) echo "OLLAMA_MODELS=/data/ollama/models" | sudo tee -a /etc/environment # 重启 ollama 服务 sudo systemctl restart ollama echo "===================================" echo "✅ GPU 已启用" echo "✅ 模型路径已修改为 /data/ollama/models" echo "✅ 配置已生效!" echo "==================================="
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐



所有评论(0)