详细内容或原文请订阅后点击阅览
如何在笔记本电脑上运行LLM
可能包含数百万张护照，信用卡，出生证明和包含个人身份信息的文件的图像。在DataComp Commonpool的一小部分中发现了数千个图像 - 包括可识别的面孔，这是一个主要的AI训练集，用于图像生成，从…麻省理工学院技术评论的系列方式可帮助您完成工作。西蒙·威利森（Simon Willison）有一个世界末日的计划。这是一个USB棍子，他在它上装了几个他最喜欢的开放式LLMS-由其创作者公开共享的模型，原则上可以下载和运行…
来源:MIT Technology Review _人工智能对于Pistilli而言，选择本地模型而不是在线聊天机器人具有超出隐私的影响。她说：“技术意味着力量。” “因此，[谁拥有该技术的人也拥有权力。”各州，组织甚至个人都可能会通过运营自己的本地模型来破坏仅几个公司的AI力量的集中度。
脱离大型AI公司也意味着对您的LLM体验有更多控制权。在线LLM不断在用户的脚下转移：四月，Chatgpt突然开始吸入用户远远超过以前的吸引，而在上周Grok开始自称为MechahitlerX。
突然开始吮吸提供商几乎没有警告调整模型，尽管这些调整有时可能会改善模型性能，但它们也会引起不良行为。当地的LLM可能有怪癖，但至少它们是一致的。唯一可以改变您本地模型的人就是您。
当然，任何适合个人计算机的模型都不会比主要AI公司的主要在线产品强大。但是，使用较弱的模型有一个好处 - 他们可以将您与更大的同龄人的更为有害的限制接种。例如，小型模型可能比Claude，GPT和Gemini更频繁，更明显地幻觉，并且看到这些幻觉可以帮助您建立对较大型号的方式以及何时也可能存在的意识。
“运行本地模型实际上是为这些事情可以做的事情开发更广泛的直觉的一个非常好的练习，”威利森说。
如何开始
本地LLM不仅用于熟练的编码器。如果您愿意使用计算机的命令行界面，它允许您使用文本提示浏览文件并运行应用程序，Ollama是一个不错的选择。安装软件后，您可以通过单个命令下载并运行他们提供的数百种型号中的任何一个。
Ollama