谈判东谈主员提议首个不错渲染高动态领域（High Dynamic Range, HDR）天然光的 3DGaussian Splatting 模子 HDR-GS，以用于新视角合成（Novel View Synthesis, NVS）。

该挨次不错证实用户输入的曝光技能来改造渲染场景的光照强度，同期还不错径直渲染高动态领域场景。比现时最佳的算法 HDR-NeRF 速率上要快 1000 倍。

常见的 RGB 图像精深为低动态领域（Low Dynamic Range, LDR），亮度的取值领域在 [0,255] 之间。

然则东谈主眼对亮度的感知领域要比 RGB 图像迢遥得多，一般为 [0,+∞]，导致 LDR 图像很难响应真正场景的亮度领域，使得一些较暗或者较亮的区域的细节难以被捕捉，高动态领域（High Dynamic Range，HDR）图像应时而生，具有更广的亮度领域。

新视角合成（Novel View Synthesis，NVS）任务是在给定「一个场景的几张不同视角图像，而且相机位置已知」的情况下，合成其他新视角的场景图像。

同比于 LDR NVS，HDR NVS 能更好地拟合东谈主类视觉，拿获更多的场景细节，渲染更高质地、视觉成果更好的图片，在自动驾驶、图像裁剪、数字东谈主等方面有着颠倒平庸的诈欺。

现时主流的 HDR NVS 挨次主要基于神经辐照场（Neural Radiance Fields, NeRF），然则，NeRF 的 ray tracing 加 volume rendering 机制王人颠倒耗时，往往需要颠倒密集地集会射线，然后在每一条射线上集会多个 3D 点，对每一个 3D 点过一遍 MLP 来狡计体密度和表情，严重拖慢了磨砺技能和推理速率。现时最佳的 NeRF 算法 HDR-NeRF 需要破钞 9 小时来磨砺一个场景，8.2 秒来渲染一张尺寸为 400x400 的图像。

为了处分上述问题，清华大学、上海交通大学、香港科技大学、约翰霍普金斯大学的谈判东谈主员提议了首个基于 3DGS 的挨次 HDR-GS，用于三维 HDR 成像；想象了一种有着双动态领域的三维高斯点云模子，同期搭配两条平行的光栅化处理管线以用于渲染 HDR 图像和光照强度可控的 LDR 图像。

论文迷惑：https://arxiv.org/ abs / 2405.15125

代码迷惑：https://github.com/ caiyuanhao1998 / HDR-GSgithub.com/ caiyuanhao1998 / HDR-GS

Youtube 视频西宾：https://www.youtube.com/ watch?v=wtU7Kcwe7ck

谈判东谈主员还重新校阅了一个 HDR 多视角图像数据集，狡计得回的相机参数和驱动化点云大要支持 3DGS 类算法的谈判。HDR-GS 算法在跨越现时最佳挨次 1.91 dB PSNR 的同期仅使用 6.3% 的磨砺技能并杀青了 1000 倍的渲染速率。

图 1 HDR-GS 与 HDR-NeRF 各项性能对比图

一大波演示如下：

对比近期出现的 3D Gaussian Splatting（3DGS），天然能在保证图像质地的同期也大幅普及了磨砺和渲染速率，但却很难径直诈欺到 HDR NVS 上，仍然存在三个主要问题：

1. 渲染的图片的动态领域依旧是 [0,255]，仍旧属于 LDR；

2. 径直使用不同光照的图片来磨砺 3DGS 容易导致模子不赓续，因为 3DGS 的球谐函数（Spherical Harmonics，SH）无法安妥光照的变化，时常会导致伪影、无极、表情畸变等问题；

3. 惯例的 3DGS 无法改造渲染场景的亮度，极大为止了诈欺场景，尤其是在 AR / VR、电影、游戏等领域，时时需要改造光照条目来响应东谈主物的神志与环境氛围。

图 2 惯例 3DGS 对比 HDR-GS

挨次架构

图 3 HDR-GS 的合座算法过程

谈判东谈主员当先使用 Structure-from-Motion（SfM 算法来重新校阅场景的相机参数并驱动化高斯点云，然后将数据喂入到双动态领域（Dual Dynamic Range，DDR）的高斯点云模子来同期拟合 HDR 和 LDR 表情，使用 SH 来径直拟合 HDR 表情。

再使用三个落寞的 MLP 来诀别对 RGB 三通谈作念 tone-mapping 操作，证实用户输入的曝光技能将 HDR 表情转为 LDR 表情，然后将 3D 点的 LDR 和 HDR 表情喂入到平行光栅化（Parallel Differentiable Rasterization, PDR）处理管线来渲染出 HDR 和 LDR 图像。

实践收尾

定量收尾

表 1 合成实践对比收尾

表 2 真正实践对比收尾

合成实践和真正实践的定量对比收尾诀别如表 1 和表 2 所示，HDR-GS 在性能上权贵跨越之前挨次的同期，磨砺和推理也诀别达到了 16 倍速和 1000 倍速。

视觉收尾

图 4 合成场景的 LDR NVS 视觉对比图 5 真正场景的 LDR NVS 视觉对比图 6 HDR NVS 视觉对比

LDR NVS 的视觉对比收尾如图 4 和图 5 所示，HDR NVS 的视觉对比收尾如图 6 所示。HDR-GS 大要渲染出更丰富更了了的图像细节，更好地拿获 HDR 场景并能生动地改造 LDR 场景的光照强度。

参考贵府：

https://arxiv.org/abs/2405.15125

告白声明：文内含有的对外跳转迷惑（包括不限于超迷惑、二维码、口令等花式），用于传递更多信息，粗略甄选技能世博体育(中国)官方网站，收尾仅供参考，IT之家扫数著述均包含本声明。

　　声明：新浪网独家稿件，未经授权辞谢转载。 -->