NVIDIA 发布 Cosmos DiffusionRenderer:革命性视频渲染技术

NVIDIA 近期推出了 Cosmos DiffusionRenderer，这是一个旨在实现高质量图像和视频重光源及去光源的新型视频扩散框架。此技术是 NVIDIA 原有 DiffusionRenderer 方法的一次重大更新，通过改进的数据策划流程，实现了更高质量的渲染效果。

为了使用 Cosmos DiffusionRenderer，用户需要满足一些基本的安装要求，包括 Python3.10以及配备至少16GB 显存的 NVIDIA GPU。推荐使用至少24GB 显存的显卡。此外，还需要安装 NVIDIA 驱动和 CUDA12.0或更高版本，并确保有至少70GB 的空闲磁盘空间。

用户可以通过创建一个名为 “cosmos-predict1” 的 conda 环境，并安装相关依赖包来进行设置。安装完成后，用户还需要下载模型权重，这些权重可以从 Hugging Face 获取。下载后，用户可以开始进行推断，利用 DiffusionRenderer 对图像进行去光源和重光源处理。

在图像推断中，用户可以利用已训练的逆渲染模型，从输入图像中提取出基础颜色、法线、深度等 G 缓冲区信息。通过命令行的操作，用户能够轻松处理位于特定文件夹中的图像，并将结果保存到指定的输出文件夹。

在完成逆渲染后，用户可以使用前向渲染器来对图像进行重光源处理。此时，用户可以选择自定义的环境光照地图来进行渲染，产生不同的重光源效果。

如果用户希望处理视频，也可以先将视频中的帧提取出来，然后依次对每一帧进行逆渲染和重光源处理。整个过程支持多个环境光源的选择，并能生成相应的重光源视频。

Cosmos DiffusionRenderer 不仅为用户提供了极大的灵活性和创造性，还显著提升了渲染质量。此技术的推出标志着视频渲染技术的又一重大进展，未来有望在各种视觉效果创作中发挥重要作用。

项目:https://github.com/nv-tlabs/cosmos1-diffusion-renderer

划重点: