详细内容或原文请订阅后点击阅览
让光明照耀！扩散模型和重新点亮的未来
在这篇关于场景编辑的深入博客中，了解尖端扩散模型如何处理重新照明、协调和阴影消除。照片由 Brian Aitkenhead 在 Unsplash 上拍摄。重新照明是在给定输入场景的情况下，在指定的目标照明条件下渲染场景的任务。这是计算机视觉和图形学中的关键任务。然而，这是一个不适定问题，因为场景中物体的外观是由光源、几何形状和表面材料属性等因素之间的复杂相互作用产生的。这些相互作用产生了歧义。例如，给定一个场景的照片，物体上的黑点是由于照明投射的阴影造成的，还是材料本身的颜色很暗？区分这些因素是有效重新照明的关键。在这篇博文中，我们讨论了不同的论文如何通过扩散模型解决重新照明问题。重新照明包含各种子问题，包括简单的照明调整、图像协调、阴影消除和内在分解。这些领域对于优化场景编辑至关重要，例如在合成图像中平衡颜色和阴影或分离材质和照明属性。我们将首先介绍重新照明的问题，并简要讨论扩散模型和控制网络。然后，我们将讨论解决不同类型场景（从单个对象到肖像再到大型场景）中重新照明问题的不同方法。解决
来源:走向数据科学神经gaffer
简介
这项工作提出了一个端到端2D重新确定扩散模型。该模型从具有基于物理的材料和HDR环境图的合成数据集中学习物理先验。它可以进一步用于重新考虑多个视图，并用于创建场景的3D表示。
方法
给定图像和目标HDR环境图，目标是学习一个模型，该模型可以合成此处是一个对象的图像的重新定义版本。这是通过采用预训练的零1-3模型来实现的。零1-3是一个扩散模型，它在视图方向的条件下，以呈现输入图像的新视图。他们丢弃了其新颖的观点合成成分。为了融合照明条件，它们会加入输入图像和环境图与denoising潜在的编码。
零1-3输入HDR环境映射E分为两个组件：E_L，一个音调映射的LDR表示，捕获低强度区域中的照明细节，E_H（e_h），一个对数符合图的映射图，可在整个频谱中保留信息。这些共同为网络提供了能量谱的平衡表示，从而确保准确的重新重新获得，而不会因极端亮度而被冲洗出产生的输出。
另外，输入图像的夹嵌入也作为输入传递。因此，模型的输入是输入图像，LDR图像，标准化的HDR图像和图像的剪辑嵌入所有调节脱索网络的图像。然后将该网络用作进一步的3D对象重新确定的先验。
实施
该模型是由由90K对象组成的自定义重新保留objaverse数据集训练的。对于每个对象，有204张图像在不同的照明条件和观点下呈现。总共数据集由第512x512号分辨率的18.4 m图像组成。
结果
ic-light限制