Taming Outlier Tokens in Diffusion Transformers
我们研究用于图像生成的扩散变压器 (DiT) 中的异常标记。先前的工作表明，视觉变压器（ViT）可以产生少量高规范令牌，这些令牌在携带有限的本地信息的同时吸引了过多的注意力，但它们在生成模型中的作用仍未得到充分探索。我们证明这种现象出现在现代表示自动编码器（RAE）-DiT 管道的编码器和降噪器中：预训练的 ViT 编码器可以产生离群表示，而 DiT 本身可以开发内部离群标记，尤其是在中间层......
Bose's new QuietComfort headphones get premium upgrades for a midrange price
QuietComfort 耳机（第二代）将首次亮相，具有多种音频和降噪功能，这些功能曾经是高端耳机独有的。
