VR视频透视服务器下载和使用教程(VR MR视频透视、DLNA、Quest播放器)

关键词:VR视频透视、VR MR视频、VR180视频透视、VR DLNA服务器、Quest视频透视、VR绿幕合成、Alpha Passthrough、VR本地媒体服务器


最近在折腾 VR 视频时,一直有个痛点:
普通 VR 视频只能“沉浸观看”,但无法和真实环境融合。直到发现这个开源项目 —— VR Video Passthrough Server,直接把普通 VR 视频变成 混合现实(MR)视频。实际体验后,效果非常惊艳,于是整理成完整教程。
在这里插入图片描述


一、软件介绍

VR视频透视服务器 是一个运行在 Windows 的 VR DLNA 本地媒体服务器。

核心目标只有一个:

让所有 VR 视频都能实现透视,变成 MR 视频。

它通过 GPU 实时抠像 + HEVC 编码,把 VR 视频转换成可透视流,然后在 Quest 等头显播放器中直接观看。
在这里插入图片描述


二、下载地址(测试版)

版本 下载
V0.1.0-alpha.6 https://pan.quark.cn/s/f51712dd4112

重要说明

  • 目前仍为测试版
  • 不支持 AMD 显卡
  • 预计最低需要 NVIDIA RTX20 系列
    在这里插入图片描述

三、它到底能做什么?

这个项目并不是简单播放器,而是一个完整的 VR视频处理服务器

核心能力

  • DLNA 自动发现 + 视频库浏览
  • GPU 实时抠像透视流
  • 实时字幕嵌入
  • 绿幕模式 / Alpha直通模式
  • 离线生成透视视频
  • 多视频目录支持
  • PySide6 桌面 UI(多语言)
  • 面向 8K 视频优化,尽量稳定 30fps

四、透视效果示例

在这里插入图片描述

两种模式区别:

模式 用途
Alpha Passthrough 真正 MR 透视(推荐)
Green Screen 绿幕合成兼容模式

五、电脑运行要求

目前官方没有给最低配置,但根据模型需求可以推断:

项目 要求
系统 Windows 10 / 11
Python 3.12
显卡 NVIDIA RTX20 系列以上
显存 ≥6GB(实时)
高质量离线 ≥15GB 显存
依赖 FFmpeg / FFprobe

CUDA显卡列表:
https://developer.nvidia.com/cuda/gpus


六、快速启动教程

1️⃣ 安装 Python 3.12

建议使用最新版 Python 3.12。


2️⃣ 安装 uv(Python包管理器)

pip install uv

3️⃣ 启动服务器

uv run python main.py

启动后即开始运行 DLNA 服务。


4️⃣ 启动桌面 UI(推荐)

uv run python -m ui.app

桌面 UI 用于:

  • 设置视频目录
  • 设置透视模式
  • 字幕样式配置
  • 管理后台服务

七、支持的 Quest 播放器

基于 Quest 3 实测。

播放器 Alpha 绿幕 官网
Skybox VR Player 支持 支持 https://skybox.xyz
Moon Player - 支持 https://moonvrplayer.com
4XVR 支持 支持 https://www.4xvr.net/
DeoVR 支持 支持 https://deovr.com
HereSphere 支持 支持 https://heresphere.com

推荐组合

  • Quest3 + Skybox 或 HereSphere
  • 选择 Alpha 直通模式体验最佳

八、核心配置说明

多视频目录

PT_VIDEO_DIR=D:\VRVideos|E:\Movies

输出模式

PT_PASSTHROUGH_OUTPUT_MODE=alpha

可选:

参数 说明
none 关闭
green 绿幕
alpha Alpha透视
all 全部模式

九、项目技术架构解析

项目结构非常工程化:

main.py        服务入口
dlna/          DLNA服务
http_app/      FastAPI接口
pipeline/      解码 → 抠像 → 编码流水线
offline/       离线生成
ui/            桌面UI
models/        AI模型

核心技术栈:

技术 作用
FastAPI 本地服务器
ONNX Runtime AI推理
CuPy GPU计算
PyNvVideoCodec NVIDIA硬件编码
PySide6 桌面UI

十、使用的AI模型

项目不训练模型,而是直接调用成熟模型:

模型 用途
RVM 实时视频抠像
MatAnyone2 高质量离线抠像
SAM3 辅助分割

这也是为什么需要 NVIDIA GPU 的原因。


十一、总结

这个项目的意义非常大:

以前:
VR视频 = 完全沉浸

现在:
VR视频 + 现实环境 = MR视频

本质上,它把所有 VR 视频都升级成了 MR 内容。

如果你有 Quest + NVIDIA 显卡,这个项目非常值得尝试。


如果后续版本更新,我会继续实测整理新版教程。

Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐