详细内容或原文请订阅后点击阅览
VerifAI 项目：开源生物医学问答系统，提供经过验证的答案
基于 Qdrant 和 OpenSearch 索引构建 LLM（Mistral 7B）生物医学问答系统的经验，并采用幻觉检测方法去年 9 月（2023 年），在获得 Horizon Europe 的 NGI Search 资助计划的资助后，我们着手开发 VerifAI 项目。该项目的想法是创建一个基于经过审查的文档（因此我们使用了一个名为 PubMed 的生物医学期刊出版物库）的生物医学领域生成搜索引擎，并使用一个额外的模型来验证生成的答案，通过比较引用的文章和生成的声明。在生物医学等领域，以及一般科学领域，人们对幻觉的容忍度很低。虽然有些项目和产品（例如 Elicit 或 Perplexity）可以部分执行 RAG（检索增强生成），并且可以回答和引用生物医学问题的文档，但我们的项目有一些不同之处。首先，我们目前专注于生物医学文件。其次，由于这是欧盟资助的项目，我们承诺开源我们所创建的所有内容，包括源代码、模型、模型适配器、数据集等。第三，目前没有其他产品可以对生成的答案进行后验验证，但它们通常只依赖相当简单的 RAG，这可以减少幻觉，但不能完全消除幻觉。该项目的主要目标之一是
来源:走向数据科学VerifAI 项目：带有经过验证的答案的开源生物医学问答系统
VerifAI 项目：带有经过验证的答案的开源生物医学问答系统
在 Qdrant 和 OpenSearch 索引之上构建基于 LLM（Mistral 7B）的生物医学问答系统并使用幻觉检测方法的经验
去年 9 月（2023 年），在获得 Horizon Europe 的 NGI Search 资助计划的资助后，我们着手开发 VerifAI 项目。
VerifAI 项目 NGI Search该项目的想法是创建一个基于经过审查的文档（因此我们使用了一个名为 PubMed 的生物医学期刊出版物库）的生物医学领域生成搜索引擎，并添加一个通过比较引用的文章和生成的声明来验证生成的答案的附加模型。在生物医学等领域，以及一般科学领域，人们对幻觉的容忍度很低。
PubMed虽然有些项目和产品（如 Elicit 或 Perplexity）可以部分实现 RAG（检索增强生成），并且可以回答和引用生物医学问题的文档，但我们的项目有几个不同之处。首先，我们目前专注于生物医学文档。其次，由于这是欧盟资助的项目，我们承诺开源我们创建的一切，包括源代码、模型、模型适配器、数据集等。第三，目前没有其他产品可以对生成的答案进行后验验证，但它们通常只依赖相当简单的 RAG，这可以减少幻觉，但不能完全消除幻觉。该项目的主要目标之一是解决所谓的幻觉问题。大型语言模型 (LLM) 中的幻觉是指模型生成的文本听起来合理但事实上不正确、具有误导性或毫无意义的情况。在这方面，该项目增加了实时系统的独特价值。
AGPLv3 许可证