基于LLM的产品的秘诀:整体上的插件体系结构

scale llm应用程序更聪明:插件上的插件,这就是为什么它可以正常工作的原因。帖子缩放基于LLM的产品的秘诀:Monoliths上的插件体系结构首先出现在Spritle Software上。

来源:Spritle 博客
嘿,伙计们🙋‍♂️Picture:您的团队刚刚发布了一个新的LLM驱动应用程序 - 也许这是您仪表板上内置的汇总工具,或者是一个智能聊天机器人,以供客户支持。领导力很激动。但是一周后,用户触发了一个怪异的边缘情况。您修补它。然后,另一个团队想重用新的用例。您调整逻辑,重新连接一些API,然后……繁荣。聊天机器人中断。再次,在生成AIA的时代大型语言模型(LLMS)的时代嵌入了更多产品中,工程团队发现了一个苛刻的事实:LLM的魔力在紧密耦合的建筑中并不能很好地扩展。一个组件中的修改可能会对其他组件产生不可预测的影响,转换功能,这些功能首先显得很容易获胜,成为脆弱的系统。调试转弯成为绝对的噩梦。实验减慢。信心侵蚀。但是有一种更好的方法。从整体到模块:插件架构架构架构的兴起有可能革新基于LLM的产品,就像MicroServices彻底改变了Web应用程序的创建一样。 Teams are using a modular approach, where each AI capacity (such as summarization, translation, question-answering, and classification) is encapsulated as a distinct, pluggable unit, rather than creating a single, interdependent codebase where all of the features are intertwined.It is possible for these “plugins” to be independently created, tested, implemented, tracked, and improved.They communicate with an API layer or central orchestrator that routes requests根据系统状态,用户意图或上下文。此外,可以更改或调整插件,而不必担心整个系统故障,因为它们是松散连接的。请使用乐高积木进行施工,而不是一块木头用于雕刻。这就是心态的转变。为什么整体量在LLM Eramonoli