详细内容或原文请订阅后点击阅览
In-Paint3D：使用无闪电扩散模型生成图像
深度生成 AI 模型的出现大大加速了 AI 的发展，在自然语言生成、3D 生成、图像生成和语音合成方面具有非凡的能力。3D 生成模型已经改变了众多行业和应用，彻底改变了当前的 3D 生产格局。然而，许多当前的深度生成模型遇到了一个共同的障碍：复杂的布线 […]文章 In-Paint3D：使用无闪电扩散模型生成图像首先出现在 Unite.AI 上。
来源:Unite.AI深度生成式 AI 模型的出现大大加速了 AI 的发展，在自然语言生成、3D 生成、图像生成和语音合成方面具有非凡的能力。3D 生成模型已经改变了众多行业和应用，彻底改变了当前的 3D 生产格局。然而，许多当前的深度生成模型遇到了一个共同的障碍：复杂的布线和生成的带有照明纹理的网格通常与 PBR（基于物理的渲染）等传统渲染管道不兼容。基于扩散的模型可以生成没有照明纹理的 3D 资源，具有生成各种 3D 资源的卓越能力，从而增强了电影制作、游戏和增强/虚拟现实等行业的现有 3D 框架。
在本文中，我们将讨论 Paint3D，这是一种新颖的从粗到细的框架，能够根据视觉或文本输入为无纹理的 3D 网格生成各种高分辨率 2K UV 纹理图。 Paint3D 解决的关键挑战是在不嵌入照明信息的情况下生成高质量纹理，从而允许用户在现代图形管道中重新编辑或重新照明。为了解决这个问题，Paint3D 框架采用预先训练的 2D 扩散模型来执行多视图纹理融合并生成视图条件图像，最初生成粗糙的纹理图。然而，由于 2D 模型无法完全禁用照明效果或完全表示 3D 形状，纹理图可能会出现照明伪影和不完整区域。
在本文中，我们将深入探索 Paint3D 框架，研究其工作原理和架构，并将其与最先进的深度生成框架进行比较。那么，让我们开始吧。