详细内容或原文请订阅后点击阅览
突破性进展：大型语言模型可以压缩到手机上，而不需要运行数千台服务器
在新的压缩算法缩小其大小后，在智能手机或笔记本电脑上本地运行大规模 AI 模型可能成为可能——这意味着您的数据永远不会离开您的设备。问题是它可能会在一小时内耗尽您的电池。
来源:LiveScience强大的人工智能 (AI) 模型（如 ChatGPT）需要大量电力才能运行，因此它们通常被安置在庞大的数据中心中。但一项新的突破可以压缩这些 AI 模型，使它们适合智能手机或笔记本电脑。
人工智能 人工智能一种名为“校准感知低精度分解与低秩自适应”（CALDERA）的新算法通过修剪代码中的冗余并降低其信息层的精度来压缩运行大型语言模型 (LLM) 所需的大量数据。
科学家在 5 月 24 日发表在预印本数据库 arXiv 上的一项研究中表示，这种更精简的 LLM 在准确性和细微差别上的表现略低于未压缩版本，该研究将于 12 月在神经信息处理系统会议 (NeurIPS) 上进行演示。
arXiv arXiv“只要你能降低使用人工智能模型的计算复杂性、存储和带宽要求，你就可以在那些无法处理这种计算和内存密集型任务的设备和系统上启用人工智能，”这项研究的共同作者、普林斯顿大学电气和计算机工程教授 Andrea Goldsmith 在一份声明中表示。
Andrea Goldsmith Andrea Goldsmith 声明 声明科学家在研究中表示，每当有人在手机或笔记本电脑上使用 ChatGPT（举一个流行的例子）时，任何请求都会发送到巨大的远程服务器，在那里以巨大的环境和财务成本处理数据。这是因为这种规模的人工智能模型会消耗大量的处理能力，因为它们会利用数百甚至数千个组件，例如图形处理单元 (GPU)。因此，要使用小型设备上的单个 GPU 执行这些请求，必须压缩 AI 模型的大小和范围。
相关：数学家设计了新问题来挑战高级 AI 的推理能力——但他们几乎在每项测试中都失败了
相关： Rajarshi Saha Rajarshi Saha