什么是降噪？

去噪是一种先进的技术，用于减少图像中的颗粒状斑点和变色，同时最大限度地减少质量损失。

任何用数码相机拍照的人都可能熟悉“噪点”图像：使照片失去清晰度和清晰度的变色斑点。

许多摄影师都有减少图像噪点的技巧和窍门，包括固定相机镜头的设置或在不同的光线下拍照。 但不仅仅是照片看起来会变色——噪点在计算机图形中也很常见。

噪声是指不属于原始图像的亮度和颜色的随机变化。 从图像中去除噪声——这在图像处理和计算机视觉领域变得越来越普遍——被称为去噪。

图像去噪使用先进的算法来消除图形和渲染中的噪声，从而对图像质量产生巨大影响。 如果没有降噪技术，就不可能实现逼真的视觉效果和身临其境的渲染。

什么是降噪？

在计算机图形学中，图像可以由有用信息和噪声组成。后者降低了清晰度。去噪的理想最终产品是清晰的图像，只保留有用的信息。对图像进行降噪时，保留视觉细节和组件（例如边缘、角、纹理和其他清晰结构）也很重要。

为了在不影响视觉细节的情况下降低噪声，必须对图像中的三种类型的信号进行去噪：

漫反射——向各个方向反射的散射光；镜面反射或反射——在特定方向反射的照明；和无限光源阴影——阳光、阴影和任何其他可见光源。

为了创建最清晰的图像，用户必须按照漫反射和镜面反射信号的方向投射数千条光线。然而，在实时光线追踪中，通常每个像素只使用一条光线甚至更少。

去噪在实时光线追踪中是必要的，因为保持交互性能的光线数量相对较少。

去噪如何工作？

图像去噪通常基于三种技术：空间滤波、时间累积以及机器学习和深度学习重建。

空间过滤通过重复使用相似的相邻像素来选择性地改变图像的某些部分。 空间过滤的优点是它不会产生时间滞后，即无法立即响应不断变化的流动条件。 然而，空间过滤引入了模糊和浑浊，以及时间不稳定性，这是指图像中的闪烁和视觉缺陷。

时间累积会重复使用前一帧的数据，以确定当前帧中是否存在任何可以纠正的伪影或视觉异常。 尽管时间累积会引入时间滞后，但不会产生模糊。 相反，它增加了时间稳定性以减少多帧上的闪烁和伪影。

机器学习和深度学习重建使用神经网络来重建信号。 使用各种噪声和参考信号训练神经网络。 尽管单个帧的重建信号看起来很完整，但它可能会随着时间的推移变得暂时不稳定，因此需要一种时间稳定形式。

图像去噪

降噪为用户提供即时视觉反馈，因此他们可以查看图形和设计并与之交互。 这使他们能够对光线、材料、视角和阴影等变量进行实验。

NVIDIA 实时降噪器 (NRD) 等解决方案使开发人员更容易将降噪技术集成到管道中。 NRD 是一个时空降噪库，它与应用程序编程接口无关，旨在处理每像素低光线。

NRD 使用输入信号和环境条件来提供与地面实况图像相当的结果。

借助 NRD，开发人员可以使用有限的每像素光线预算获得实时结果。 在上面的视频中，观众可以看到 NRD 实时解决图像噪声的繁重工作。

Dying Light 2 和 Hitman III 等热门游戏使用 NRD 进行降噪。

NRD 支持漫反射、镜面反射或反射以及阴影信号的去噪。 NRD 中包含的降噪器是：

ReBLUR——基于自稳定、循环模糊的想法。 它旨在处理以低光线预算生成的漫反射和镜面反射信号。SIGMA — 快速阴影降噪器。 它支持来自任何类型光源的阴影，例如太阳和本地光。ReLAX — 保留由 NVIDIA RTX Direct Illumination 产生的照明细节，该框架使开发人员能够实时渲染具有数百万个动态区域光的场景。 ReLAX 还具有更好的时间稳定性，并且对不断变化的光照条件保持响应。