XiaoMi-AI文件搜索系统
World File Search System检索
Agentic抹布重新定义自适应的检索效果
未来调查代理抹布的机会将需要合并多模态数据以产生更丰富的输出。这些应用程序需要更丰富，上下文意识到的响应，并且可以通过这些系统来解决，因为我们使用广泛的数据源（文本，图像，音频）。此外，研究更高级的反馈回路将改善连续学习，以便系统可以更好地处理动态环境。他们可以研究改善反馈的方法以使其快速，并且仍然保持准确。最后，必须探讨跨联盟应用程序和道德AI原则的集成领域，以便这些自适应系统在多个市场中的设计，公平性，透明度和问责制中体现出来。
ruie：使用大语言模型的基于检索的统一信息提取
统一信息提取（UIE）旨在从非结构化文本中提取各种结构化信息。虽然大型语言模型（LLMS）对UIE表现出了希望，但它们需要大量的计算资源，并且经常难以推广到看不见的任务。我们提出了Ruie（基于r Etrieval的U NIDIFIED I NFORMATION e XTRACTION），该框架利用了文本学习以进行有效的任务概括。ruie介绍了一种新颖的演示选择机制，将LLM偏好与关键字增强的模型相结合，并采用了通过对比度学习和知识蒸馏而训练的双重编码猎犬。作为UIE的第一个可训练的检索框架，Ruie是各种LLM的Univer-sal插件。八个持有数据集的实验结果证明了Ruie的有效性，与指导调用方法和其他检索器相比，F1得分的平均改善分别为19.22和3.22。
text2tracks：基于及时的音乐推荐的生成曲目检索
抽象音乐推荐系统传统上依靠用户的听力历史来提供个性化的轨道建议。但是，由大语言模型（LLMS）提供动力的对话界面的最新进展使用户能够根据语言提示提供高度特定的建议请求（例如“您能推荐一些老式的摇滚民谣放松吗？” ）。在这种情况下，轨道建议步骤以生成方式（即推荐音乐曲目的标题是通过简单地预测下一个文本令牌来生成的（例如“齐柏林飞艇 - 通往天堂的楼梯”）。此策略是音乐项目的亚最佳选择，因为：1）它依赖于针对单词而不是项目优化的通用文本令牌化，2）它需要一个额外的实体分辨率层才能找到实际的轨道标识符； 3）解码步骤的数量与艺术家名称和歌曲标题的长度线性缩放，速度降低了，慢速降低。在本文中，我们将基于及时的音乐推荐的任务构架为生成的检索任务，并提出了轨道标识符的新颖有效且有效的表示，这些标识符显着超过了常用的策略。我们介绍了Text2Tracks，这是一种生成的检索模型，可直接从用户的音乐推荐提示中学习映射到相关的轨道ID。Through an offline evaluation on three datasets of playlists with language inputs, we find that (1) the strategy to create IDs for music tracks is the most important factor for the effectiveness of Text2Tracks and that we can significantly outperform the artist name and track name strategy, (2) provided with the right choice of track identifiers, Text2Tracks outperforms sparse and dense retrieval for prompt-based track recommendation, and (3) several design decisions成功地应用于生成检索不会推广到音乐推荐域。
在医学，社交媒体中推进多媒体检索...
具有20多年的传统，ImageClef基准测试仪为科学界提供了研究活动和评估多模式数据的注释，索引，分类和检索方法。Imageclef 2024与评估论坛（CLEF）[18,19]的会议和实验室集成在一起，第二版由法国格伦诺布尔大学（University of Grenoble Alpes）托管，2024年9月9日至12日，2024年9月20日。考虑到最后四个成功版的经验，Imageclef 2024将处理四个基准测试任务中的多样性，以接近单语言和跨语言信息检索系统的不同方面[14,18,19] [14,18,19] 很少。广告系列目标是多模式数据注释和检索社区以及计算机视觉，图像信息检索和数字图像处理字段的研究人员。从其成立开始，Imageclef却产生了有意义的学术影响，目前，有420个出版物对Web of Science（WOS）有3792篇引用。本文介绍了计划于2024年计划的四个任务，即：ImageClefmedical，ImageCleFrecommeding，参数的图像检索/生成和ImageCleftopicto（图1）。
体现摊位：检索和生成的一般非参数体现记忆
图1：体现抹布方法概述。（a）记忆是通过将拓扑图的节点组织到语义森林中来构建的。（b）（a）中的内存可用于查询，并带有并行的树遍历。（c）具有文本输出的导航操作，或者可以为查询生成全局说明，并将检索结果用作LLM上下文。
通过锚定回归进行低秩矩阵的相位检索
我们研究低秩相位恢复问题，我们的目标是从一系列无相位线性测量中恢复 ad 1 × d 2 低秩矩阵。这是一个四阶逆问题，因为我们试图恢复通过一些二次测量间接观察到的矩阵因子。我们提出了使用最近引入的锚定回归技术解决该问题的方法。这种方法使用两种不同类型的凸松弛：我们用多面体搜索代替无相位测量的二次等式约束，并通过核范数正则化强制执行秩约束。结果是 d 1 × d 2 矩阵空间中的凸程序。我们分析了两种特定场景。在第一种情况下，目标矩阵为秩 1，观测结构对应于无相位盲反卷积。在第二种情况下，目标矩阵具有一般秩，我们观察一系列独立高斯随机矩阵的内积幅度。在每个问题中，我们都表明，只要我们能够访问质量足够好的锚定矩阵，锚定回归就能从接近最优数量的测量中返回准确的估计值。我们还展示了如何在无相盲反卷积问题中从最优数量的测量中创建这样的锚定，并针对一般秩问题给出了这方面的部分结果。
检索蛋白质结构预测的增强蛋白质语言模型
准确预测分子活性对于有效的药物发现至关重要，但由于数据集有限和嘈杂，因此仍然具有挑战性。我们引入了相似性 - 量化的相对学习（SQRL），这是一个学习框架，将分子活性预测重新定义为结构相似的化合物对之间的相对差异学习。sqrl使用预先计算的分子相似性来增强图形神经网络和其他体系结构的训练，并显着提高了药物疾病中常见的低数据表格的准确性和概括。我们通过在公共数据集和专有行业数据上进行基准测试来证明其广泛的适用性和现实世界的潜力。我们的发现表明，利用相似性相对差异为分子活性预测提供了有效的范例。
Imageclef 2024的概述：医疗应用中的多媒体检索
Bigdan Ionescu 1，Henning M£2，Maria Drold 1，JohannesRèuckert3，Asma Ben Abacha 4，Ahmad Idrisssi-Yagir 3，Schaltic 8，Schaltic 8，System Schmidt 7，Tabea M.G.Pakull 8 , Hendrik 3 , Benjamin Bracke 3 , Christoph M. Friedrich Benjamin 11 , Benjamin 11 , Emmanuelle Esperan 11 11 , Yeuan Fu 12 , Steven A. Hicks 11 , Michael A. Riegler 13 , Andrea Stor, Andrea 13, P˚al Halvorsen 13, Maximilian Heinrich 14,
签证：带视觉源归因的检索增强生成
源文档的。 此类源归因042方法使用户可以检查输出的043可靠性（Asai等人。 ，2024）。 044 However, text-based generation with source attri- 045 bution faces several issues: First, citing the source 046 at the document level could impose a heavy cogni- 047 tive burden on users ( Foster , 1979 ; Sweller , 2011 ), 048 where users often struggle to locate the core ev- 049 idence at the section or passage level within the 050 dense and multi-page document. 尽管有051个粒度不匹配可以通过基于052通道引用的生成方法来解决 - 链接 - 053对特定文本块的答案，它需要非054个琐碎的额外工程工作，以匹配文档源中的块055。 此外，源文档中的视觉高-056照明文本块对用户的直观更加直观，但是它仍然具有挑战性，因为它需要控制文档渲染，这是059，它并不总是可以访问，例如PDF方案中。 060受到最新文档屏幕截图EM- 061床上用品检索范式的启发 - 放下文档 - 062 Ment Processing模块，直接使用VLM 063来保留内容完整性和编码Doc-064 UMent ument屏幕截图（Ma等人。 ，2024），065，我们询问源归因是否也可以在066中添加到如此统一的视觉范式中，以es- 067 tablish tablish tablish tablish a Tablish a Tablish a既是视觉，端到端可验证的RAG 068管道，既是用户友好且有效？ 069为此，我们提出了通过VI Sual s usce a ttribution（Visa）的检索增加的070代。。此类源归因042方法使用户可以检查输出的043可靠性（Asai等人。，2024）。044 However, text-based generation with source attri- 045 bution faces several issues: First, citing the source 046 at the document level could impose a heavy cogni- 047 tive burden on users ( Foster , 1979 ; Sweller , 2011 ), 048 where users often struggle to locate the core ev- 049 idence at the section or passage level within the 050 dense and multi-page document.尽管有051个粒度不匹配可以通过基于052通道引用的生成方法来解决 - 链接 - 053对特定文本块的答案，它需要非054个琐碎的额外工程工作，以匹配文档源中的块055。此外，源文档中的视觉高-056照明文本块对用户的直观更加直观，但是它仍然具有挑战性，因为它需要控制文档渲染，这是059，它并不总是可以访问，例如PDF方案中。060受到最新文档屏幕截图EM- 061床上用品检索范式的启发 - 放下文档 - 062 Ment Processing模块，直接使用VLM 063来保留内容完整性和编码Doc-064 UMent ument屏幕截图（Ma等人。，2024），065，我们询问源归因是否也可以在066中添加到如此统一的视觉范式中，以es- 067 tablish tablish tablish tablish a Tablish a Tablish a既是视觉，端到端可验证的RAG 068管道，既是用户友好且有效？069为此，我们提出了通过VI Sual s usce a ttribution（Visa）的检索增加的070代。071在我们的方法中，大型视觉模型072（VLM）处理单个或多个检索的文档图像，不仅为074产生了对074用户查询的答案，而且还返回了075框架内的相关区域内的相关区域。076如图1所示，此方法通过视觉上指示文档中的确切078位置来启用di-077 rect归因，从而允许用户在080原始上下文中快速检查生成答案的原始上下文中的支持证据。VLMS 081不受文档格式或渲染的限制，082
知识图集成和自我验证，用于全面检索效果
检索型发电（RAG）已从学术研究人员和行业中获得了重要的关注，作为解决大型语言模型（LLMS）知识限制的有前途解决方案。但是，LLM在使用抹布时经常表现出幻觉现象。为了有效地解决各种问题类型的幻觉现象，我们采用了各种选择和策略。具体来说，我们利用Llama3的详细自我验证能力来确定给定的参考是否可以充分回答一个特定的问题，从而避免幻觉现象。随后，通过利用知识图来增强我们的知识基础，我们可以增强上下文理解并减少抹布的幻觉。llm的高级能力进一步使我们能够有效整合和解释知识图的内容，从而确保更加连贯和准确的响应。最后，对这些不同问题类型的有效处理使我们能够根据每个查询的特定要求提供精确且有用的答案。通常，我们的工作全面利用LLM的高级功能来增强我们信息检索系统的鲁棒性和信誉。这种多方面的方法，再加上对参考文献的细致评估，可确保提供高质量的重音，而与问题的复杂性无关。