LingBot-Map：从长视频连续重建三维场景与相机轨迹
一分钟看懂
LingBot-Map 是用于流式三维重建的前馈基础模型。它按顺序处理视频帧，在持续估计相机姿态的同时生成场景几何，并通过锚点上下文、姿态参考窗口和轨迹记忆减轻长序列中的累计漂移。
你可以用它做什么
- 把视频或连续图片重建为可浏览的三维点云。
- 估计摄像机在长序列中的运动轨迹和空间位置。
- 在浏览器中交互查看示例场景和重建结果。
- 对超长视频进行分窗口推理，并离线渲染点云漫游视频。
- 在 KITTI、Oxford Spires 等公开数据集上评测三维重建效果。
主要能力
- 几何上下文 Transformer 将坐标定位、稠密几何线索和漂移纠偏放入同一流式框架。
- 使用分页 KV 缓存和可选的 FlashInfer 加速长序列推理。
- 支持关键帧间隔、窗口化推理、天空掩码和 CPU 卸载等资源控制选项。
- 提供交互式 Viser 查看器、离线批量推理和点云视频渲染流程。
- 官方仓库同时提供模型权重、示例场景、论文和评测脚本。
适合哪些人
适合研究三维视觉、视觉里程计、机器人地图构建和长视频场景理解的研究人员与工程师，也适合需要从视频生成相机轨迹或三维点云的实验项目。
怎么开始使用
官方建议创建 Python 3.10 环境，安装 PyTorch 2.8.0 与 CUDA 12.8，再以可编辑模式安装项目并下载模型权重。安装完成后，可向 demo.py 提供权重路径和示例图片目录，启动本地浏览器查看器；超长视频与离线渲染还需要额外的可视化依赖、FFmpeg、Kaolin 和 CUDA 扩展。
使用前需要知道
这是研究模型，效果会受输入场景、相机运动、训练距离范围和关键帧设置影响；超出训练范围时可能出现姿态崩溃，需要改用窗口模式。高效运行依赖 NVIDIA GPU、CUDA 和显存，离线渲染的环境配置更复杂。官方宣称的速度和基准结果来自特定硬件与测试条件，实际表现需自行验证。项目使用 Apache-2.0 许可证。