该工程师将AI语言模型放在USB棒上，实际上可以工作
覆盆子PI驱动的USB棒可运行轻巧的AI型号，使LLMS可移植和插件。
来源:ZME科学在一个人工智能似乎经常要求小城市的计算能力的世界中，一位工程师设法将其缩小到USB棒的大小。满足口袋大小的语言模型，这是一种创造性的壮举，证明了大创意并不总是需要大型硬件。
大型语言模型（LLM）等GPT和LLAMA已成为AI世界的摇滚明星，能够产生类似人类的文本，回答问题甚至编写代码。但是这些模型通常依赖数十亿个参数，并且需要大量的数据中心才能运行。输入修补匠Youtuber Binh，他决定通过将LLM塞入USB棒上来挑战现状。
binh这不是您的平均闪存驱动器。在其自定义3D打印的情况下，有一个Raspberry Pi Zero W，这是一台不超过口香糖的小型计算机。在此适度的硬件上运行的是Llama.cpp，这是Meta的Llama模型的轻量级版本。但是让软件在PI上工作并不容易。 Llama.cpp的最新版本是为ARMV8处理器设计的，而Raspberry Pi Zero W则在较旧的ARMV6架构上运行。因此，他必须艰苦地删除ARMV8优化。
他的毅力得到了回报，他成功地适应了模型以在较旧的硬件上运行。结果是一种适合您口袋的便携式AI - 无需云计算。
插件AI
这个项目的真正魔力在于它的简单性。 BINH将USB棒设计为复合设备，这意味着它可以与任何计算机进行交互，而无需特殊驱动程序。要使用LLM，您需要做的就是插入USB棒，创建一个空文本文件，然后给它命名。该模型会自动生成文本并将其保存到文件中。
虽然它的速度不如基于云的同行，但基于USB的LLM是一项开创性的概念证明，正如在Hackaday上首次看到。 Binh说：“我相信这是第一个基于USB的LLM。”他可能是对的。
hackaday hackaday 大量能量