详细内容或原文请订阅后点击阅览
简单的修复有助于 AI 更快更好地创建逼真的 3D 模型
创建逼真的 3D 模型对于虚拟现实、电影和工程设计至关重要,但这通常是一个缓慢而复杂的过程。像 DALL-E 这样的生成式 AI 工具使从文本提示创建 2D 图像变得更加容易,但它们很难生成逼真的 3D 形状。麻省理工学院的一组研究人员发现了一个简单的[…]文章简单的修复有助于 AI 更快更好地创建逼真的 3D 模型首次出现在 Knowridge Science Report 上。
来源:Knowridge科学报告创建逼真的 3D 模型对于虚拟现实、电影和工程设计至关重要,但这通常是一个缓慢而复杂的过程。
像 DALL-E 这样的生成式 AI 工具使从文本提示创建 2D 图像变得更加容易,但它们很难生成逼真的 3D 形状。
麻省理工学院的一个研究小组找到了一个简单的解决方案,可以使 3D 建模更快、更高效、更易于访问。
MIT3D 形状生成的挑战
3D 形状生成的挑战像 DALL-E 这样的扩散模型经过训练,可以通过在受控过程中添加和消除噪声来创建详细的 2D 图像。
这些模型擅长生成高质量图像,但在生成逼真的 3D 形状方面却有所欠缺。 这是因为没有足够的 3D 数据来有效地训练它们。
为了克服这个问题,一种称为分数蒸馏采样 (SDS) 的技术于 2022 年开发出来。 SDS 使用预训练的 2D 扩散模型将多个 2D 视图组合成一个 3D 形状。
分数蒸馏采样 (SDS)它的工作原理是从粗略的 3D 表示开始,从不同角度渲染 2D 图像,并细化形状以匹配这些图像。这个过程会重复,直到创建完整的 3D 模型。然而,结果往往看起来很模糊或卡通化。
“这一直是一个瓶颈,”麻省理工学院电气工程和计算机科学研究生 Artem Lukoianov 说。“我们知道模型可以做得更好,但没人知道为什么 3D 形状会变成这样。”
简单的修复
简单的修复事半功倍
事半功倍