详细内容或原文请订阅后点击阅览
AI可以真正发展像我们这样适应的记忆吗？
探索泰坦：一种为LLM和人类启发的内存配备的新体系结构，在测试时间期间学习和更新。首先出现在数据科学上。
来源:走向数据科学我们今天正在学习什么？
cocomix（Jihoon等人，2025年）。梅塔（Meta）进行了概念学习，即，在单词背后学习概念，而不仅仅是预测下一代的现实，使它们非常可辨和解释。
cocomix （Jihoon等，2025） Stoperable 可解释但仍然是一个核心问题：即使是概念上出色的模型，在实际部署期间，训练后也可能会在细微或事实的召回挑战中挣扎。您可以问一个看似简单的问题，例如：“在我们200万次谈话中，我们在哪里讨论了匹诺奇奥著名的鼻子？”无论llm在概念上有多么能力，如果答案位于上下文窗口之外，它都无法回答这个简单的问题。
因此，我们可以在推理期间为这些智能的LLM提供适应性的“记忆”或绩效精确提高的“记忆”或绩效的促进？
适应性 推理1。当前基础问题：变形金刚
变形金刚（Vaswani等，2017）²在现代AI景观中无处不在。自从他们的突破成功以来，他们一直是跨领域的首选架构。
（Vaswani等，2017）²在2020年，对任何机器学习问题的默认响应通常都“引起注意” - 令人惊讶的是，它奏效了，通常效果优于最先进的模型。视觉任务？使用变压器（Dosovitskiy等，2020）。时间序列预测？变压器再次（Zerveas等，2021）⁴。自然语言处理？好吧，变形金刚实际上定义了它（Rogers等，2021）。
（Dosovitskiy等，2020） （Zerveas等，2021） （ Rogers等，202 1）⁵但是，随着我们对大型模型的依赖加深和计算预算的扩大，即使这种“全部做”建筑也开始显示其限制 - 因此，开始推动进一步扩展其能力。
四边形昂贵 淡出 适应性 “即时学习”