transformers关键词检索结果

思考未来:Transformers 的潜在前瞻训练

Thinking into the Future: Latent Lookahead Training for Transformers

本文被 ICLR 的潜在与内隐思维研讨会 - 超越 CoT 推理 2026 接受。使用下一个标记预测训练的自回归语言模型通过一次采样一个离散标记来生成文本。尽管具有很强的可扩展性,但这个目标迫使模型在每一步都做出承诺,从而阻止它探索或反思多个看似合理的延续。此外,跨代币的计算分配是统一的;每个令牌都是基于单个前向传递形成的,在困难令牌的情况下可能会限制模型的表达能力......

Flash注意2:减少GPU内存并加速Transformers

Flash Attention 2: Reducing GPU Memory and Accelerating Transformers

将公共 MCP 服务器部署为 API 端点,并使用函数调用将其工具集成到 LLM 工作流程中。