详细内容或原文请订阅后点击阅览
nvidia将语言模型的上下文窗口扩展到百科全书的大小 div>
在公司中开发的技术使用Blackwell处理器的功能提高了基于生成AI的聊天机器人的有效性。
来源:OSP网站大数据新闻大型语言模型可能会在长时间对话中“失去线索”，“忘记”所说的内容。这是由于上下文窗口的大小有限，增加会导致 GPU 内存负载过重，响应时间显着增加。
Nvidia 通过开发 Helix Parallelism 技术解决了这个问题 - 利用 Nvidia Blackwell 处理器的功能，它有效地分离和并行化内存和处理任务，允许大型语言模型与百科全书大小的上下文窗口高效地工作。
正如 Nvidia 自己所指出的，得益于 Helix Parallelism，基于 AI 的代理系统将能够记住持续数月的对话。该技术还可用于处理数十亿字节判例法数据的法律人工智能助手、具有庞大存储库的项目的编码助手，以及需要读取患者完整病史才能做出决定的医疗人工智能系统。此外，这项创新将使创建具有多个人工智能代理的系统变得更加容易，由于更大的上下文窗口，这些代理可以更有效地进行交互。