如何唤醒具身基础模型的三维空间理解？

——SLA

机器人伸手抓取果蔬时，有人故意把目标挪走；桌面升高，物体的位置也跟着改变。已经学过的动作，机器人还能继续完成吗？

香港科技大学（广州）与欧拉万象（OLA Dimensions）的科研团队联合提出的 SLA（Spatial-Language-Action model，空间—语言—动作模型），把这些变化带进了真机测试，并通过空间监督增强机器人基础模型的空间理解能力。

在 RoboDojo-Real 公开评测中，SLA-Preview 以平均得分 42.3 分、任务成功率 33.9% 位居榜首，成功率约为 π0.5 的 2.6 倍。它在部署时保留原有推理架构，空间对齐分支不额外增加策略推理开销。

01    真机榜第一具体赢在哪里

RoboDojo-Real 覆盖 ARX X5、Piper 和 Piper X 三种机器人本体，共 18 项任务，每种本体六项。SLA 联合使用三种本体的示范进行后训练，用同一个模型完成测试。

在这项评测中，SLA 的平均得分为 42.3 分，任务成功率为 33.9%；π0.5 对应为 22.9 分和 12.8%。两项指标分别提高 19.4 分和 21.1 个百分点。

▲图｜RoboDojo-Real 真机榜单，SLA-Preview 按平均得分排名第一（截图更新于 2026 年 11 月 3 日）

这些成绩来自真实硬件上的操作：相机观察、动作执行与物体接触共同参与评测。对于模型能否进入实际部署，真机任务的完成情况提供了直接参照。

02    目标被挪走，机器人还能接着干吗？

榜单之外，团队进一步测试了机器人面对空间变化时的表现：果蔬被扔回桌面、抓取中的目标被人移动、桌面高度持续变化，以及更换执行任务的机器人本体。

果蔬任务中，基础场景、位置扰动和动态干扰三类条件共享同一个策略，该策略通过 100 条基础场景示范完成后训练。

测试中的位置与动态干扰，没有额外采集对应的干扰示范用于后训练。

▲图｜果蔬抓取、位置扰动、动态干扰与少样本跨本体适配

位置扰动后的物体级成功率，SLA 为 82%，π0.5 为 52%；持续移动目标时，两者分别为 76% 和 42%。在桌面升降、目标高度不断变化的手表抓取条件下，两者分别为 78% 和 44%。

▲图｜桌面高度变化与指令目标变化的真实实验

跨本体实验在 100 条 Piper 示范之外，额外加入 10 条 Franka 示范联合后训练，Franka 的物体级成功率达到 78%。这一结果体现了少量目标本体数据下的适配能力，训练预算中仍包含原有 Piper 示范。

八类条件均以 50 个单独计分的物体实例评测，要求完成该物体的完整操作过程。SLA 的平均物体级成功率为 83.8%，π0.5 为 59.8%，提高 24.0 个百分点。

这组自建实验与 RoboDojo-Real 公开评测使用不同的任务和统计口径，分别检验了模型在真实操作中的表现。

03    让空间理解进入基础模型的学习过程

这些表现背后的问题是：机器人识别出物体、理解了指令之后，怎样把观察转换成精确的三维运动？同一个物体处于不同位置，夹爪的路径、朝向和移动幅度都可能改变。

VLA 将视觉观察、语言指令与动作生成连接起来，VLM 带来的语义知识是其重要起点。一种增强空间能力的常见思路，是在后训练时补充深度图或点云，让几何信息显式参与控制，但这也需要应对传感器质量、标定条件和数据模态不一致等问题。

SLA 通过隐式表征对齐提供空间监督，并将其引入持续预训练，在下游后训练时继续保留。跨场景、跨本体的机器人经验，由此参与可迁移空间表征的学习。

▲图｜SLA整体训练框架

SLA 继承 π0.5 的架构与预训练权重，通过持续预训练增强内部表征的空间能力。这使模型可以利用已有的通用机器人知识，为进一步学习提供起点。

具体而言，SLA 在训练时引入空间教师 OmniVGGT。

它读取多视角 RGB 图像，并利用样本中已有的深度或相机标定信息提取空间特征。VLA 在学习动作的同时，让中间视觉特征与教师的空间特征对齐，使空间监督进入动作所依赖的表征。

不同机器人的场景、纹理和相机视角差异很大。

为适应这些差异，方法根据输入特征，自适应汇聚多个层次的视觉信息。训练时还会以一定概率丢弃部分样本的机器人状态输入，鼓励策略利用图像，减少对示范轨迹中固定状态模式的依赖。

对于部署者，另一个看点是推理架构保持不变：

空间教师、对齐模块和选层机制仅在训练时使用，空间对齐分支不增加策略推理开销。部署时也不需要将深度图或相机标定作为新增的策略输入，训练获得的空间信息通过原有策略参与行动。

04    六类机器人数据如何一起训练

空间能力要在更广泛的机器人经验中学习，首先需要让不同来源的数据能够共同参与训练。

SLA 使用 InternData-A1、AgiBot World Beta、RoboCasa365-Pretrain、RoboCOIN、DROID 和 MolmoAct 六类来源；在筛选和处理前，这些来源合计约 171 万条轨迹、14,330 小时示范。

▲图｜持续预训练的六个数据来源。表中列出筛选和处理前的规模，任务数按各数据集分别统计后相加。

RoboCOIN 和 AgiBot World Beta 带来多样的真机操作；DROID 与 MolmoAct 补充单臂操作经验；InternData-A1 和 RoboCasa365 提供丰富的仿真场景与操作素材。

组合覆盖不同本体、相机配置、物体和任务，也带来了数据差异。

不同机械臂有不同的关节数量和排列，同一组关节数值难以跨本体复用。团队采用末端执行器位姿来描述状态和动作，并统一机器人坐标约定，使移动方向、旋转及夹爪动作具有可比较的物理含义。

为了后训练评测的客观性，Continual Pre-training阶段没有使用后训练数据集。

05    数据增多空间能力能否继续提升

基础模型路线需要回答可扩展性问题。研究从完整混合数据集中按任务抽样，使用 5%、25%、50% 和 100% 四档持续预训练数据，再通过 RoboTwin 2.0 的 Clean2Random 设置观察下游效果。

完整方案在四档数据下的成功率依次为 49.2%、60.5%、67.4%、72.3%。

▲图｜SLA 持续预训练数据 Scaling 曲线

在已测试的数据范围内，完整方案随训练规模增加持续获得收益。曲线也显示，在持续预训练和后训练两个阶段都加入空间对齐的方案，在各档数据规模下均优于仅在单一阶段加入空间对齐的方案，为继续扩大训练提供了实验依据。

其他仿真结果覆盖了不同侧面：RoboCasa-Panda 上的成功率为 68.4%，每项任务使用 50 条后训练示范；LIBERO-Plus 上为 87.4%，模型在标准 LIBERO 示范上后训练后，接受相机、光照、背景等多维扰动测试。

06    从学会动作到适应变化

机器人学会一个动作之后，场景变了，还能不能继续完成任务？

从目标移动、桌面升降，到少量数据下的跨本体适配，港科广与欧拉万象（OLA Dimensions）的SLA 研究已围绕这个问题给出了阶段性实验结果，并提出了一个值得继续验证的方向：把空间理解放进基础模型的持续学习过程，让机器人学过的技能能够适应更多变化。

论文标题： SLA: Scaling Spatial-Language-Action Model via Continual Pre-training

作者： Fuhao Li*, Wenxuan Song*,†, Qizhou Huang, Ziyang Zhou, Jingbo Wang, Junwu E, Pengwei Wang, Yan Wang, Shunbo Zhou, Haoang Li‡

论文地址：https://arxiv.org/pdf/2611.08373

项目主页：https://embodiedsla.github.io/