Technical pathways must tackle the ‘missing middle’
本博客由伯明翰大学学院副校长（继续教育、学徒和 STEM）Rosa Wells 教授友情撰写。这个时机再合适不过了。当教育工作者、雇主和政策制定者齐聚华威制造集团，参加机械工程师学会工程教育工作者社区首届论坛时，政府宣布了计划 […] 技术途径必须解决“缺失的中间层”问题首先出现在 HEPI 上。
Taming Outlier Tokens in Diffusion Transformers
我们研究用于图像生成的扩散变压器 (DiT) 中的异常标记。先前的工作表明，视觉变压器（ViT）可以产生少量高规范令牌，这些令牌在携带有限的本地信息的同时吸引了过多的注意力，但它们在生成模型中的作用仍未得到充分探索。我们证明这种现象出现在现代表示自动编码器（RAE）-DiT 管道的编码器和降噪器中：预训练的 ViT 编码器可以产生离群表示，而 DiT 本身可以开发内部离群标记，尤其是在中间层......
