Strata 一键安装教程：Windows下3步跑通125B MoE本地大模型（START-HERE.bat详解）
Strata 一键安装教程：Windows下3步跑通125B MoE本地大模型（START-HERE.bat详解）
项目地址: https://gitcode.com/gh_mirrors/strata11/Strata 想在普通游戏电脑上运行 1250 亿参数的 MoE 大模型？Strata 做到了：通过 START-HERE.bat 一键安装，无需手动配环境，在 8GB 以上显存的 NVIDIA 显卡上跑起 Qwen3.8-Flash-Next 125B MoE 本地大模型，出字速度可达 60-95 tokens/秒，比你能阅读的速度还快。本文用 3 个步骤带你完成 Windows 安装。
为什么需要 Strata？
这类超大模型通常需要带数百 GB 显存的服务器才能运行，而 Strata 推理引擎把工作分摊到整台 PC：
- 显卡负责每步计算，并缓存最常用的专家；
- 内存（RAM） 保存全部 24,576 个专家，CPU 与 GPU 并行工作；
- SSD 保存大查找表，每个 token 只读取其中几行。
配合"先猜后验"（Speculative Decoding）机制，质量不变的前提下响应快 1.6-1.8 倍。完整原理见 docs/DETAILS.md。
安装前的硬件要求清单 📋
| 项目 | 要求 |
|---|---|
| 显卡 | NVIDIA RTX 30/40/50 系列，8GB 显存起步（12-24GB 更佳） |
| 内存 | 48-64 GB（取决于所选模型尺寸） |
| 硬盘 | 约 80 GB 可用空间，SSD 强烈推荐 |
| 系统 | Windows 10/11（或 Linux） |
| 驱动 | 最新版 NVIDIA 驱动（唯一需要你手动安装的） |
模型尺寸怎么选？不确定就选 IQ2_XS（推荐）；主要写代码或只有 32-48GB 内存选 Coder (IQ1_M)；追求最佳质量且内存充足选 IQ3_S。各尺寸的内存占用与速度对比见 README.md。
3 步安装：Windows 下跑通本地大模型
第 1 步：获取项目代码 📦
打开命令行，克隆仓库：
git clone https://gitcode.com/gh_mirrors/strata11/Strata
也可以下载压缩包解压，效果相同。
第 2 步：双击 START-HERE.bat 🚀
进入项目目录，双击 START-HERE.bat——这是整个安装流程的入口。这个脚本非常"聪明"：
- 首次运行：自动安装一切并启动模型；
- 再次运行：直接启动，不会重复下载任何东西。
它会自动完成这些工作（源码详见 setup.py）：
- 检查 NVIDIA 显卡、驱动、内存、CPU 与磁盘空间；
- 如果没有 Python 3.10+，自动为用户账户安装 Python 3.12（无需管理员权限）；
- 在项目内创建独立的
.venv虚拟环境，不污染系统 Python； - 下载预编译的 Strata 推理引擎（无需自己编译）；
- 从 Hugging Face 下载约 70 GB 的模型文件（支持断点续传）；
- 生成启动脚本并启动模型。
第 3 步：回答 4 个问题 ✅
首次运行时只需回答 4 个问题（每次直接按 Enter 就选推荐项）：
| 问题 | 说明 |
|---|---|
| 选哪个模型？ | 原版 Qwen3.8-Flash-Next / Swift 1.5 / Coder |
| 多大上下文？ | 模型一次能记住多少文本，会按你的显卡给出建议 |
| 要不要读图片？ | 开启后模型支持图像输入（可选） |
| 实验性速度投影？ | 默认关闭，不建议新手开启 |
下载完成后浏览器会自动打开 http://127.0.0.1:8080 的 Strata 应用，包含 Chat（聊天）、Monitor（实时监控模型和 GPU/CPU/内存）、About（设置与 API 地址）三个页面。
⚠️ 注意：模型启动时 PC 可能卡顿 1-3 分钟（首次最久），因为 Strata 要把 35-55 GB 数据载入内存——这是正常现象，等待即可，不要关闭窗口。
装好后怎么用？
- 浏览器：
http://127.0.0.1:8080，打开就能聊； - 终端聊天：运行
.venv\Scripts\python chat.py； - 接入你自己的应用：作为 OpenAI 兼容接口，base URL 填
http://127.0.0.1:8080/v1；Anthropic 风格接口用http://127.0.0.1:8080/v1/messages； - 手机/局域网访问：
START-HERE.bat --setup --host 0.0.0.0 --api-key <密钥>。
想加第二个模型或改设置，双击 SETUP.bat 即可（等价于 START-HERE.bat --setup），已下载的内容不会重复下载。
常见问题快速排查 🛠️
| 症状 | 原因与解决 |
|---|---|
| 首次启动卡死/鼠标冻结 | 正常现象，等待 1-3 分钟；超 10 分钟则重启电脑、关闭浏览器等占内存程序 |
| 下载中断了 | 再次运行 START-HERE.bat，自动续传 |
| 提示 NVIDIA 驱动太旧 | 更新驱动（需 580 以上版本），重启后再运行 |
| 提示 8080 端口被占用 | Strata 已在运行，找到它的窗口即可 |
| 很慢且硬盘灯狂闪 | 内存不足，关闭其他程序或换更小的模型尺寸（Q2_0/IQ2_XS） |
| 回答中断"引擎意外停止" | 通常是内存不足，重发消息即可，Strata 会自动重启引擎 |
| 提示上下文超长 | 开新对话，或用 SETUP.bat 加大上下文 |
完整故障排查表见 docs/DETAILS.md，仍卡住可查看项目文件夹中的 strata-<模型名>.log 日志文件。
多张 NVIDIA 显卡？ 直接运行 START-HERE.bat，它会列出显卡并询问是否跨卡共享模型（推荐）；也可用 --gpus 0,2 手动指定，详见 docs/MULTI_GPU.md。
总结 🎯
整个安装就 3 步：克隆代码 → 双击 START-HERE.bat → 按 Enter 选推荐项。之后每次启动只需再双击一次 START-HERE.bat，关闭窗口即停止模型。一台普通游戏 PC + 64GB 内存，就能拥有 60-95 tokens/s 的 125B MoE 本地大模型——免费、开源、完全离线可用。
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目，面向数字基础设施四大核心场景（服务器、云计算、边缘计算、嵌入式），全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐
3
0- 0
已为社区贡献41条内容
所有评论(0)