■摘要 统计显示，我国年收入约为美国的三分之一。不过，由于是不同国家的统计，定义和调查方法不同。更值得注意的是，各自完成的调查结果中公布的代 表值不同。也就是说，美国是中央值，我国是平均值。 与其他大多数数据相差甚远的值称为离群值。存在离群值时，平均值会直接受到影响，因而难以正确反映实际情况。另一方面，中央值是指将所有数据按从大到小或从小到大排列后位于中间的数据值。美国的……
Taming Outlier Tokens in Diffusion Transformers
我们研究用于图像生成的扩散变压器 (DiT) 中的异常标记。先前的工作表明，视觉变压器（ViT）可以产生少量高规范令牌，这些令牌在携带有限的本地信息的同时吸引了过多的注意力，但它们在生成模型中的作用仍未得到充分探索。我们证明这种现象出现在现代表示自动编码器（RAE）-DiT 管道的编码器和降噪器中：预训练的 ViT 编码器可以产生离群表示，而 DiT 本身可以开发内部离群标记，尤其是在中间层......
