详细内容或原文请订阅后点击阅览
RAG 101：分块策略
释放 RAG 工作流的全部潜力为什么、何时以及如何对增强型 RAG 进行分块我们如何分割球？（使用 Cava 生成）大型语言模型在单个请求中可以处理的最大标记数称为上下文长度（或上下文窗口）。下表显示了所有版本的 GPT-4 的上下文长度（截至 2024 年 9 月）。虽然上下文长度随着每次迭代和每个新模型而增加，但我们可以为模型提供的信息仍然有限。此外，输入的大小与 LLM 生成的响应的上下文相关性之间存在反比关系，简短而集中的输入比包含大量信息的长上下文产生更好的结果。这强调了将数据分解成更小、更相关的块的重要性，以确保 LLM 做出更合适的响应 — — 至少在 LLM 无需重新训练即可处理大量数据之前。https://medium.com/media/a2c998c6f15373ffb38ec4af77fcd750/href图像中表示的上下文窗口包含输入和输出标记。为什么上下文长度很重要虽然较长的上下文为模型提供了更全面的图像，并帮助其理解关系并做出更好的推理，但另一方面，较短的上下文减少了模型需要理解的数据量，从而减少了延迟，使模型响应更快。它还有助于最大限度地减少 LLM 的幻觉 sinc
来源:走向数据科学解锁抹布工作流的全部潜力
抹布101：块策略
为什么，何时以及如何为增强的抹布
大语言模型可以在单个请求中处理的最大令牌数量称为上下文长度（或上下文窗口）。下表显示了所有版本的GPT-4（截至2024年9月）的上下文长度。尽管上下文的长度随着每个迭代和每个较新的模型都在增加，但我们可以提供该模型的信息仍存在一个限制。此外，与包含大量信息的长上下文相比，LLM，简短和重点输入产生的响应的输入大小与上下文相关性之间存在反相关性。这强调了将我们的数据分解为较小的相关块以确保LLMS更适当的响应的重要性，至少直到LLM可以在不重新训练的情况下处理大量数据。
t gpt-4的所有版本的上下文长度图像中表示的上下文窗口包括输入和输出令牌。
包括输入和输出令牌。为什么上下文长度重要
虽然更长的上下文为模型提供了更全面的画面，并帮助其理解关系并做出更好的推断，但另一方面，较短的上下文减少了模型需要理解的数据量，从而减少了延迟，从而使模型更快地响应。它还有助于最大程度地减少LLM的幻觉，因为仅给出了模型的相关数据。因此，这是性能，效率以及我们的数据的复杂程度之间的平衡，我们需要进行实验，了解多少数据是适量的数据，可以通过合理的资源产生最佳结果。
OpenAi Tokenizer Arthur Conan Doyle的Baskervilles猎犬 tiktoken令牌数：82069
什么是块
\ n \ rx
\ n \ n
才能