详细内容或原文请订阅后点击阅览
使用SYFTR
探索SYFTR，这是一个开源框架，用于发现帕累托最佳生成AI工作流。了解如何在现实世界中的用例中优化准确性，成本和延迟。在DataRobot上首次出现在datarobot上设计帕累托最佳的genai工作流程。
来源:DataRobot博客您并不缺乏工具。或模型。或框架。
您所使用的是一种原则上使用它们的方式 - 大规模使用它们。
大规模。构建有效的生成AI工作流程，尤其是代理的工作流程，意味着要导航选择的组合爆炸。
每个新的猎犬，提示策略，文本分离器，嵌入模型或合成LLM乘以可能工作流程的空间，从而产生超过10²³可能的配置的搜索空间。
反复试验不会扩展。模型级别的基准测试并不能反映组件缝合到完整系统中时的行为。
这就是我们构建SYFTR的原因，这是一个开源框架，用于自动识别精度，成本和延迟约束的帕累托最佳工作流程。
这就是为什么我们构建syftr请参见Action in Action
想要在潜水之前快速演练吗？这个简短的演示显示了SYFTR如何帮助AI团队有效探索生成的AI工作流程配置和表面高性能的选项。
生成AI工作流的复杂性
To illustrate how quickly complexity compounds, consider even a relatively simple RAG pipeline like the one shown in Figure 1.
每个组件 - 回归，及时策略，嵌入模型，文本分离器，合成LLM - 要求仔细选择和调整。除了这些决定之外，从端到端工作流策略的景观不断扩展，从诸如react和lats之类的单代理工作流程到诸如Captainagent和Magentic-one之类的多代理工作流程。
React lats 上尉 Magentic-One缺少的是探索此配置空间的可扩展，原则性的方法。
那是Syftr的地方。
syftr其开源框架使用多目标贝叶斯优化来有效地搜索帕累托最佳的抹布工作流，平衡成本，准确性，准确性和潜伏期，这些配置将无法手动测试。
贝叶斯优化 图2 图3。 ，