详细内容或原文请订阅后点击阅览
无需数学的语言模型：AI 摆脱矩阵的束缚
研究人员已经找到了如何降低能源成本并提高法学硕士成绩的方法。
来源:安全实验室新闻频道研究人员已经找到了如何降低能源成本并提高法学硕士成绩的方法。
科学家们开发了一种创新方法，允许自然语言处理系统在不使用矩阵乘法的情况下运行。这一发现可以显着降低运行 ChatGPT 等大型语言模型 (LLM) 的计算成本。
创新方法 法学硕士矩阵乘法 (MatMul) 是一种将两个矩阵组合起来创建一个新矩阵的运算。要执行此过程，矩阵的大小必须兼容：第一个矩阵的列数必须与第二个矩阵的行数匹配。相乘的结果是得到一个矩阵，其中每个元素计算为第一个矩阵的行和第二个矩阵的列的相应元素的乘积之和。该方法用于计算机图形学、物理学和数据分析等各个领域，以解决方程组、变换和其他数学问题。
到目前为止，LLM工作需要巨大的计算资源。这个数学过程在神经网络的功能中起着关键作用：它将传入的信息与预定的参数（权重）进行比较，这使得程序能够生成最有可能的查询答案。然而，随着人工智能系统变得更加强大和流行，矩阵乘法只会成为整体性能的限制。即使使用专门为此类计算设计的强大 GPU 也无法完全解决问题。
该研究已在 arXiv 预印本服务器上发布，正在等待同行评审。尽管如此，这项工作已经因其解决人工智能高计算成本问题的创新方法而引起了科学界的关注。如果通过进一步的研究证实该方法的有效性，它可能会导致创建更经济、更节能的人工智能系统。