从LLMS生成结构化输出

流行技术概述将LLM的输出限制为预定义的示例,该示例生成了从LLMS生成结构化输出,这首先出现在数据科学方面。

来源:走向数据科学

与LLM互动的接口是通过在Chatgpt,Gemini或DeepSeek中找到的经典聊天UI。界面非常简单,用户输入文本主体,模型与另一个主体响应,这可能会遵循或可能不会遵循特定的结构。由于人类可以理解非结构化的自然语言,因此该界面适合其设计的目标受众。

chatgpt 双子座 DeepSeek

但是,LLM的用户群远大于居住在地球上的80亿人。它扩展到数百万个软件程序,这些程序可能会利用如此大的生成模型的力量。与人类不同,软件程序无法理解非结构化的数据,从而阻止了它们利用这些神经网络产生的知识。

为了解决这个问题,已经开发了各种技术来在预定义的架构后从LLM产生输出。本文将概述三种最受欢迎的方法,用于从LLMS生产结构化输出。它是为有兴趣将LLM集成到其软件应用程序的工程师编写的。

结构化输出生成

从LLMS产生的结构化输出涉及使用这些模型生成遵守预定义模式的数据,而不是生成非结构化的文本。该架构可以以各种格式定义,JSON和REGEX是最常见的。例如,当使用JSON格式时,该架构为每个值指定了预期的键和数据类型(例如INT,String,Float等)。然后,LLM输出一个仅包含定义键并正确格式化值的JSON对象。

有各种技术可以从LLMS生成结构化输出。本文将讨论三个。

    依靠API提供者启动和重复策略限制了解码
  • 依靠API提供商
  • 提示和重复策略
  • 约束解码
  • 依靠API提供商“魔术”

    “魔术” 这个 魔术 霍格沃茨魔术

    提示还不够

    “ no”