无分类器扩散指导概述:模型指导本身版本不佳导致模型指导受损(第 2 部分)

如何在不进行条件 dropout 的情况下将无分类器指导 (CFG) 应用于您的扩散模型?扩散模型生成采样的最新替代方案是什么?在本文中找到答案!

来源:AI夏令营

此后续博客文章审查了替代性分类器指导(CFG)方法,用于训练而无需调节辍学的扩散模型。在这种情况下,不能应用CFG。那么,我们该怎么办?还是如何将CFG应用于纯无条件的生成设置?

无分类器指导 生成

最近的作品表明,(共同训练的)无条件的“模型”可以用各种替代方案(例如受损/下型模型)代替。与条件模型相比,下层网络可以是条件或无条件的,并且需要某种瓶颈。我们将参考正面模型和负面模型,以避免有条件模型和无条件模型之间的混淆,如普通CFG所示。访问我们以前的有关扩散模型或CFG的文章,以掌握基本概念。

扩散模型 cfg

正符号和负符号

CFG需要a)外部条件(文本或类标签),b)有和没有条件的培训。后者是指随机删除条件,通常为10-20%。也可以对模型进行单独的培训,但在这两种情况下,这都是一个限制。这是CFG的已知限制,这是其最初拒绝的原因之一:

初始拒绝
“从AC的角度来看,如果作者能够推广其技术,则可以增强实际意义,而不是协助有条件扩散模型。”

从现在开始,我们将由于CFG方程中的符号而将CFG中的条件和无条件模型称为正模型。

d^out(xσ)= dneg(xσ)+(1+γ)(dpos(xσ)-dneg(x ∣σ))。 \ hat {d} _ {\ text {out}}(x \ mid \ sigma)= d _ {\ text {neg}}(x \ mid \ sigma) +(1 + \ gamma)\ left(d _ {d _ {pos}}(pos}}(neg) \ mid \ sigma)\右)。 d^out(xσ)= dneg(xσ)+(1+γ)(dpos(xσ)-dneg(x ∣σ))。 d^out(xσ)= dneg(xσ)+(1+γ)(dpos(xσ)-dneg(x ∣σ))。 d^out d^ d ^ OUT ( x ^ σ ) = dneg neg + 1 γ (dpos(xσ)-dneg(xσ)) dpos pos - 。 d^out(x d^out OUT σ)= dneg(x dneg σ)+ OUT x ^ σ = dneg neg + 1 γ (dpos(xσ)-dneg(xσ)) dpos pos - d^out(x d^out OUT σ)= dneg(x dneg σ)+ OUT σ)= dneg(xdnegσ)+