报道:英伟达展示Lyra 2.0:单张图像可转化为持久化3D环境

时间:2026-11-10 06:24:23       来源:Wccftech


【资料图】

英伟达展示了空间智能实验室开发的Lyra 2.0。该框架能以单张照片为起点,生成可主动探索的新视角,再将画面重建为可从不同视点实时渲染的持久化3D环境。

用户可以控制镜头轨迹,即使越过原始照片的画面边界,系统也会继续生成后续视角,并尽量保持同一虚拟环境的连贯性。生成的视频序列可进一步重建为明确的3D高斯表示和多边形网格,还能导入英伟达 Isaac Sim等应用,用于机器人训练与模拟。

Lyra 2.0重点处理生成式系统中的空间遗忘和时间漂移。空间遗忘会让系统重返已有地点时生成不同结构,时间漂移则会令视觉与几何误差不断累积。研究团队加入由3D几何信息引导的空间记忆机制,用于检索相关历史帧,并让模型在训练中接触自身并不完美的输出,学习修正误差。

性能方面,蒸馏模型将视频生成的去噪过程从35步压缩至4步,所需时间约降至原来的十三分之一。论文数据显示,使用单张英伟达GB200 GPU生成80帧片段约需15秒,完整模型完成相同任务则约需194秒。

目前的性能尚不足以实时生成整个世界,相关计算依然繁重,系统也主要适用于静态环境。动态场景生成和偶发的视觉不一致仍是现阶段的限制,因此其对游戏开发的意义主要在于展示辅助环境制作的潜力,而非凭一张图片直接生成完整可玩的游戏。

这项研究最初发表于2026年4月,英伟达在SIGGRAPH Asia 2026前再次对其进行重点展示。目前实现代码已在GitHub公开,模型权重也已发布至Hugging Face,但受到英伟达研究用途许可约束。

标签: 英伟达 Lyra

消息推送