私下运行大型语言模型
框架、模型和成本的比较 Robert Corwin，Austin Artificial Intelligence 首席执行官 David Davalos，Austin Artificial Intelligence ML 工程师 2024 年 10 月 24 日大型语言模型 (LLM) 迅速改变了技术格局，但安全问题仍然存在，尤其是在将私人数据发送给外部第三方方面。在这篇博文中，我们深入探讨了在本地和私下（即在自己的计算机上）部署 Llama 模型的选项。我们让 Llama 3.1 在本地运行，并调查了速度、功耗和不同版本和框架中的整体性能等关键方面。无论您是技术专家还是只是对所涉及的内容感到好奇，您都会找到有关本地 LLM 部署的见解。为了快速概览，非技术读者可以跳到我们的摘要表，而具有技术背景的读者可能会喜欢深入了解特定工具及其性能。除非另有说明，否则所有图片均由作者提供。作者及其雇主 Austin Artifical Intelligence 与本文使用或提及的任何工具均无关联。要点运行 LLM：可以使用社区中广泛可用的工具和框架下载 LLM 模型并在私人服务器上本地运行。虽然运行最强大的模型需要相当昂贵的硬件，但较小的模型可以在笔记本电脑或台式电脑上运行。隐私和可定制性：在私人服务器上运行 LLM 可提高隐私性
来源:走向数据科学私人运行大型语言模型
框架，模型和成本的比较
奥斯汀人工智能首席执行官罗伯特·科温（Robert Corwin）
大卫·达瓦洛斯（David Davalos），奥斯汀人工智能ML工程师
2024年10月24日
大型语言模型（LLMS）迅速改变了技术格局，但安全性持续存在，尤其是在将私人数据发送给外部第三方方面。在此博客条目中，我们深入研究了本地和私人部署美洲驼模型的选项，即在自己的计算机上。我们可以在本地运行Llama 3.1，并研究关键方面，例如速度，功耗以及不同版本和框架的整体性能。无论您是技术专家，还是只是对所涉及的内容感到好奇，您都会发现对本地LLM部署的见解。要快速概述，非技术读者可以跳到我们的摘要表上，而具有技术背景的人可能会欣赏更深入的研究特定工具及其性能。
作者的所有图像除非另有说明。作者和奥斯汀人工智能，他们的雇主，与本文中使用或提到的任何工具都没有隶属关系。
关键点
运行LLMS：LLM模型可以使用社区中广泛使用的工具和框架在私人服务器上下载和运行。在运行最强大的型号需要相当昂贵的硬件时，较小的型号可以在笔记本电脑或台式计算机上运行。
运行llms：隐私和自定义性：在私人服务器上运行LLMS提供了增强的隐私，并对模型设置和使用策略进行了更大的控制。
隐私和自定义性：型号大小：开源美洲驼模型有各种尺寸。例如，美洲驼3.1有80亿，700亿和4050亿个参数版本。 “参数”大致定义为网络一个节点上的权重。更多参数以内存和磁盘中大小为代价增加了模型性能。
型号大小： 量化： 费用： Langchain 2x