Perceiver关键词检索结果

DeepMind - 新闻与博客
2022年7月16日 00:00

Perceiver AR：通用、长上下文自回归生成

Perceiver AR: general-purpose, long-context autoregressive generation

我们开发了 Perceiver AR，这是一种自回归、模态无关的架构，它使用交叉注意将长距离输入映射到少量潜在输入，同时保持端到端因果掩蔽。Perceiver AR 可以直接处理十万多个标记，无需手工制作的稀疏模式或记忆机制即可实现实用的长上下文密度估计。