开源官宣|VISTA-Grasp:轻量级低延迟WebXR双臂机器人遥操作系统,开箱即用!
今天,我们正式开源 VISTA-Grasp双臂机器人遥操作系统。
今天,我们正式开源 VISTA-Grasp双臂机器人遥操作系统。
VISTA是Virtual Interface for Spatial Teleoperation and Ambience缩写,VISTA‑Grasp: An Immersive VR Teleoperation System for Robot Grasping(沉浸式 VR 机器人抓取遥操作系统)
在具身智能与机器人遥操作领域,低延迟、高沉浸感的交互体验始终是技术落地的核心诉求。 VISTA-Grasp—由穹明智能(QiongMing-Intelligence)自主研发的轻量级WebXR遥操作系统,基于WebXR、WebRTC与ROS生态打造,为双臂机器人提供端到端的沉浸式遥操解决方案,无需复杂配置,开箱即可上手!
为什么打造VISTA-Grasp?
传统机器人遥操作方案往往面临「部署复杂、延迟高、跨平台适配难」三大痛点:依赖专用XR开发套件、视频回传延迟突破秒级、多设备端口映射与ROS适配需大量定制开发。针对这些问题,VISTA-Grasp从底层架构出发,重构了遥操链路,实现「轻量化、低延迟、易部署」的核心目标。
VISTA-Grasp:四大核心特性,重新定义遥操作体验
1. 多模态XR控制:浏览器即入口,适配主流头显
基于WebXR标准构建,无需安装专用APP,在头显浏览器中即可完成高精度头部姿态跟踪、双手控制器位姿采集,完美适配Meta Quest 3等主流XR设备,摆脱封闭生态依赖,降低硬件使用门槛
2. 超低延迟视频回传:双路WebRTC,沉浸式第一人称视角
集成双路WebRTC视频流,将机器人端视角的 camera0 (主视角)与 camera1 (辅助视角)画面无延迟推送到VR头显,局域网内端到端延迟在毫秒级,打造「身临其境」的第一人称遥操体验,精准感知机器人作业场景。
3. 高性能双臂运动学:毫秒级IK解算,动作映射更丝滑
开发机端集成Pinocchio与CasADi开源库,实现十毫秒级高频逆运动学解算,将XR手柄的手部动作平滑映射到7自由度机械臂关节,兼顾运动精度与流畅度,适配双臂协同、精细抓取等复杂操作场景。
4. 开箱即用的极简部署:一键启动,无缝对接ROS
采用前后端分离架构,搭配tmux自动化启动脚本,无需手动配置多进程;内置标准ROS桥接层,可直接对接头部、双臂、夹爪及底盘的控制话题,支持「真实机器人+无头模拟」双模式——无硬件也能通过dummy.py完成仿真测试。
5分钟快速上手:从安装到遥操仅三步
第一步:环境搭建(开发机端)
git clone https://github.com/your-company/yqbz_teleop.git
cd yqbz_teleop
# 配置后端环境(AMD64架构,macOS用env_arm64.yaml)
conda env create -f env_amd64.yaml
conda activate teleop
# 安装前端依赖
cd frontend
npm install
cd ..
第二步:启动服务
# 开发机启动前端+后端核心服务
cd run
./start.sh
# 机器人端启动ROS桥接与摄像头(无机器人则运行python backend/bridge/dummy.py)
cd run
./rob.sh
第三步:连接VR头显,开始遥操
# 端口映射(以Meta Quest为例)
adb connect <VR_IP>:5555
adb reverse tcp:5173 tcp:5173
adb reverse tcp:5174 tcp:5174
戴上头显,浏览器访问http://localhost:5173,点击「进入AR」,即刻开启双臂机器人遥操!
视频demo:
企业级进阶能力:可定制、可扩展
为满足工业级定制需求,VISTA-Grasp提供完善的进阶文档体系:
-
系统配置与自定义端口指南:灵活调整网络、硬件适配参数;
-
ROS话题映射规范:按需对接不同品牌机械臂、传感器;
-
WebRTC视频流调试:针对性优化视频延迟、画质;
-
贡献者指南:支持企业团队协作开发、功能定制。
写在最后
VISTA-Grasp的开源,旨在降低具身智能遥操作技术的落地门槛,让更多开发者、企业快速上手高质量的XR机器人遥操方案。我们会持续迭代功能、完善文档,期待你的Star与贡献!
项目地址:
https://github.com/qiongming-intelligence/VISTA-Grasp
https://gitee.com/QiongMing-Intelligent/VISTA-Grasp
加入我们,一起构建具身智能社区
一个人走得快,一群人走得远。如果你也在深耕具身智能、机器人开发,或是想从零入门这个领域,欢迎扫码加入我们的开发者社群:👇 扫描下方二维码,添加「小助手」为好友。
-
第一时间获取专栏更新与技术干货
-
与一线工程师、算法研究员面对面交流
-
参与开源项目共建、技术沙龙与实战分享

So, are you ready?让我们一起,用开发者的视角,去解锁机器人时代的核心密码!🚀
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐
所有评论(0)