XiaoMi-AI文件搜索系统
World File Search SystemRetrieval
推进与Genai的相似性搜索：检索增强生成方法
本文介绍了一种创新的检索增强生成方法，以进行相似性搜索。所提出的方法使用生成模型来捕获细微的语义信息并基于高级上下文理解检索相似性分数。该研究重点介绍了包含从生物医学领域提取的100对句子的生物群数据集，并引入了相似性搜索相关结果，这些结果优于先前在该数据集上获得的句子。通过对模型敏感性的深入分析，研究确定了最佳条件，导致最高相似性搜索准确性：结果揭示了较高的Pearson相关评分，在0.5的温度下达到0.905，并且提示中提供的20个示例的样本大小为20个示例。这些发现强调了生成模型进行语义信息检索的潜力，并强调了相似性搜索的有希望的研究方向。
重新映射：通过网络倒置和检索功能映射进行自适应运动预测的神经模型重新编程
由肢体损失，衰老，中风和其他运动缺陷造成的移动性障碍是全球数百万个人面临的重大挑战。先进的辅助技术，例如假肢和矫形器，有可能大大改善此类个人的生活质量。这些技术设计中的关键组成部分是对肢体受损的参考联合运动的准确预测，这受到这些患者可用的关节运动数据的稀缺性的阻碍。为了解决这个问题，我们提出了一种新型的模型，重新利用了深度学习的重新编程属性，结合了网络反转原理和检索绘制的映射。我们的方法适应了最初为健全的个体设计的模型，以预测肢体受损患者的关节运动，而不会改变模型参数。我们通过广泛的经验研究对低于膝盖挑战的患者的数据进行了广泛的经验研究，证明了重新映射的功效，从而证明了对传统转移学习和微调方法的显着改善。这些发现对截肢，中风或衰老的患者的辅助技术和流动性具有显着影响。
基于检索 -
文本到SQL通过使非专家将其自然语言（NL）问题转换为结构化查询语言（SQL）查询来简化数据库交互。随着大语言模型（LLM）的进步，内在学习（ICL）已成为构建文本到SQL系统的流行选择。现实世界，行业规模的数据库通常包括表和数百列的桌子，并使整个模式将整个模式作为LLM的上下文不可估量昂贵。此要求访问正确的数据库和表集。最近提出了基于增强的增强剂（RAG）方法，用于检索给定查询的数据库和表的相关子集。但是，我们观察到，现有的合成查询生成方法可以产生主要简单的查询，这些查询可能无法充分代表复杂的现实世界查询，因此对生成的SQL的质量产生负面影响。为了解决这个问题，我们提出了一种基于创新的内在强化学习（ICRL）的框架，该框架通过增强模型生成了实践者在推理期间可能构成的复杂查询的能力来完善问题的生成过程。与现有方法相反，我们的框架与多样化和复杂的合成SQL查询产生。我们通过多个实验与公共标准数据集中的代表性最先进模型进行了比较，揭示了我们的方法的有效性，并观察到性能和可伸缩性的实质性提高。与用于识别模式的最新模型相比，数据库/表检索任务中的回忆提高了15-20％，而SQL生成的执行精度高达2％。
图像生成AI模型基于对比度学习样式距离计算
摘要。本文提出了一种检索训练有素的图像生成洛拉（低级别适应性）模型的方法。此搜索算法采用单个任意图像输入，然后将模型在其中将图像转换为与输入映像相同的样式中的模型。我们使用三胞胎网络（带有三重损失的暹罗网络）采用了对比度学习方法。我们在预采用的洛拉模型上创建了一个示例图像集并执行了样式转移。使用这些传输的图像，对网络进行了微调，以通过其样式而不是通过其主题来计算距离；对于由不同的Lora模型转化的同一主题的一对图像对成对的差异很大，对于由同一LORA模型转换的不同下ject的图像对。通过准确评估任务评估了搜索算法，这些任务估计是否通过对模型进行排名的相同模型和用户实验进行了转换。实验结果表明，精细调整至关重要，样本图像集的多样性也很重要。
第十四届意大利信息检索研讨会报告（......
意大利信息检索研讨会 (IIR) 于 2010 年创办，现已进入第 14 届，旨在为介绍和讨论信息检索理论和实证研究提供一个平台。自首次在帕多瓦举办以来，IIR 已成为研究人员（尤其是早期学者）以及对信息检索感兴趣的行业专业人士的重要论坛，他们可以在协作和非正式的环境中交流、分享想法并讨论他们的工作。多年来，研讨会除了讨论搜索和排名之外，还开放了各种研究领域的讨论，包括内容表示和分析、个性化搜索和推荐、对话系统和特定领域的应用、通过研究人为因素和界面实现可用性，以及开发信息检索系统和 RS 的评估方法。自首次举办以来，IIR 每年都由该领域的领先研究小组组织举办。该研讨会曾在国内外举办过：帕多瓦（2010 年和 2019 年）、米兰（2011 年和 2022 年）、巴里（2012 年和 2021 年）、比萨（2013 年和 2023 年）、罗马（2014 年和 2018 年）、卡利亚里（2015 年）、威尼斯（2016 年）和卢加诺（2017 年）。本活动报告的组织方式如下。我们首先概述 IIR 2024 的关键方面（第 2 部分），包括目标、主题、组织和收到的贡献概述。接下来，我们简要描述研讨会上提出的每一项贡献（第 3 部分）。最后，我们重点介绍新兴的研究趋势和其他相关见解（第 4 部分）。
通过人工智能观看历史电影：对文物藏品图像检索的思考
第二次世界大战后，世界各地开始开设大量电影资料馆，国际电影档案联合会 (FIAF) 的活动也恢复了活力，促进了展览巡回，公众通过展览重新接触档案电影 (Tadeo Fuica 2019: 28–32)。这促使人们质疑当时之前电影史的书写方式，并引发了一场深刻的史学辩论。为了回应莫里斯·巴代什 (Maurice Bardèche) 和罗伯特·布拉西拉赫 (Robert Brasillach) (1935) 等人撰写的历史，这些历史大多基于电影爱好者的记忆，乔治·萨杜尔 (George Sadoul) (1946, 1947, 1948, 1949) 和让·米特里 (Jean Mitry) (1968) 等作家发展了更为严格的方法论，强调了观看电影和情境化的重要性 (Louis 2020: 117–30)。几十年后，档案保管员需要保存其资料，而学术界又愿意重新接触历史方法，这两者相结合，为该领域的新转折做好了准备（Elsaesser 2012：592-93）。1978 年布莱顿 FIAF 大会被广泛认为是实现这一变化的事件，因为它为学者们提供了观看早期电影档案片段的机会（Gaudreault 等人 2012：3）。与档案珍宝的接触使研究人员能够重新审视当时一直沿用的目的论方法，这种方法将早期电影边缘化并低估了其价值（Gaudreault 和 Gunning 1989）。这次大会还强调了档案保管员和历史学家之间合作的必要性，以推动该学科的发展（Gaudreault 2006，Gunning 2006）。
关于信息检索的大型语言模型的第一届研讨会报告（LLM4EVAL 2024），SIGIR 2024
在信息检索（ir）中，除其他应用外，LLMs被积极探索，以进行定时查询文件相关性，包括排名和标签生成[Rahmani等。，2024a; Craswell等。，2024]。后者可用于培训和评估其他功能不力但更有效的排名者。llms用于行业中的相关性标签[Thomas等。，2023]。评估方法将更广泛的LLM和提示应用于标签问题，可能会解决更广泛的质量问题。是在这些观察结果的推动下，我们认为在LLMS背景下的评估策略研讨会会质疑IR和NLP是否真正面临评估策略的范式转变。因此，我们组织了这个研讨会，以通过信息检索镜头对基于LLM的评估提供新的视角。研讨会还提供了一个机会，以反思学术界和行业中基于LLM的评估的好处和挑战。最后，我们鼓励有关进一步评估主题和模型的提交和讨论，而现有文献很少，例如推荐系统，学习排名和扩散模型。本文是我们自己的llm4eval的事件报告[Rahmani等。，2024b]事件，这是与Sigir 2024结合举行的信息检索评估大语模型的第一个用于评估（LLM4EVAL 2024）的研讨会。研讨会举行了一个海报会议，并带有公认的论文和小组讨论。我们报告了如何组织研讨会（第2节），提供有关研讨会（第3节）发生的情况的描述性说明，并报告我们从LLMJudge挑战中学到的东西（第4节）。
装备：生成增强检索
在043 A高维空间中启用其语义相似性。044但是，此相似性计算过程045面临几个挑战。首先，查询与文档047之间的复杂SE-046摩西关系映射到标量相似性，该标量相似性无法重新触及足够的信息，并且很难在049架上持平（Brito and Iser，2023）。第二，当与长期文档进行交易时，例如具有256、051 512或更多令牌的文件，确定了与查询最相关的第052节，并且对相似性最大的053贡献最高的053是非常可取的，但挑战是挑战 - 054（Luo等人），2024; Günther等。，055 2024）。此外，许多NLP任务，例如SEN- 056 TENCE选择，搜索结果突出显示，针头057在干草堆中（Liu等人。，2024b; An等。，2024; 058 Wang等。，2024）和细粒度引用（Gao 059等人，2023;张等。，2024），需要对文本的深度和060细粒度的理解。061鉴于需要对细粒度的理解的需求，062只是将整个文档与查询保持一致的双重编码器似乎不足，因为它的召开对比损失主要强调全局065语义（Khattab和Zaharia，2020年）。com-066 pllement re-067 Triever的核心定位能力，我们提出了一个新颖而充满挑战的乐趣 - 068 damental问题：我们可以增强和整合069现有070检索器的信息本地化能力而无需牺牲其固有检索能力吗？首先，083072为了应对这些挑战，我们提出了一个073新颖的方法齿轮（ge neration-a u摘要074 r etrieval）。具体来说，我们将数据构建为075（查询文档信息）的三元组，但仍使用076对比度学习来优化相似度为-077 deween the查询和文档。在相同的078时间，我们设计了一个文本解码器，以在文档080中生成Rel-079 Evant Evant Evant-evant Ever-Graining信息，以增强RE-081 recy-081 threval和本地化功能。尽管082概念很简单，但仍有许多挑战。
ruie：使用大语言模型的基于检索的统一信息提取
统一信息提取（UIE）旨在从非结构化文本中提取各种结构化信息。虽然大型语言模型（LLMS）对UIE表现出了希望，但它们需要大量的计算资源，并且经常难以推广到看不见的任务。我们提出了Ruie（基于r Etrieval的U NIDIFIED I NFORMATION e XTRACTION），该框架利用了文本学习以进行有效的任务概括。ruie介绍了一种新颖的演示选择机制，将LLM偏好与关键字增强的模型相结合，并采用了通过对比度学习和知识蒸馏而训练的双重编码猎犬。作为UIE的第一个可训练的检索框架，Ruie是各种LLM的Univer-sal插件。八个持有数据集的实验结果证明了Ruie的有效性，与指导调用方法和其他检索器相比，F1得分的平均改善分别为19.22和3.22。
签证：带视觉源归因的检索增强生成
源文档的。 此类源归因042方法使用户可以检查输出的043可靠性（Asai等人。 ，2024）。 044 However, text-based generation with source attri- 045 bution faces several issues: First, citing the source 046 at the document level could impose a heavy cogni- 047 tive burden on users ( Foster , 1979 ; Sweller , 2011 ), 048 where users often struggle to locate the core ev- 049 idence at the section or passage level within the 050 dense and multi-page document. 尽管有051个粒度不匹配可以通过基于052通道引用的生成方法来解决 - 链接 - 053对特定文本块的答案，它需要非054个琐碎的额外工程工作，以匹配文档源中的块055。 此外，源文档中的视觉高-056照明文本块对用户的直观更加直观，但是它仍然具有挑战性，因为它需要控制文档渲染，这是059，它并不总是可以访问，例如PDF方案中。 060受到最新文档屏幕截图EM- 061床上用品检索范式的启发 - 放下文档 - 062 Ment Processing模块，直接使用VLM 063来保留内容完整性和编码Doc-064 UMent ument屏幕截图（Ma等人。 ，2024），065，我们询问源归因是否也可以在066中添加到如此统一的视觉范式中，以es- 067 tablish tablish tablish tablish a Tablish a Tablish a既是视觉，端到端可验证的RAG 068管道，既是用户友好且有效？ 069为此，我们提出了通过VI Sual s usce a ttribution（Visa）的检索增加的070代。。此类源归因042方法使用户可以检查输出的043可靠性（Asai等人。，2024）。044 However, text-based generation with source attri- 045 bution faces several issues: First, citing the source 046 at the document level could impose a heavy cogni- 047 tive burden on users ( Foster , 1979 ; Sweller , 2011 ), 048 where users often struggle to locate the core ev- 049 idence at the section or passage level within the 050 dense and multi-page document.尽管有051个粒度不匹配可以通过基于052通道引用的生成方法来解决 - 链接 - 053对特定文本块的答案，它需要非054个琐碎的额外工程工作，以匹配文档源中的块055。此外，源文档中的视觉高-056照明文本块对用户的直观更加直观，但是它仍然具有挑战性，因为它需要控制文档渲染，这是059，它并不总是可以访问，例如PDF方案中。060受到最新文档屏幕截图EM- 061床上用品检索范式的启发 - 放下文档 - 062 Ment Processing模块，直接使用VLM 063来保留内容完整性和编码Doc-064 UMent ument屏幕截图（Ma等人。，2024），065，我们询问源归因是否也可以在066中添加到如此统一的视觉范式中，以es- 067 tablish tablish tablish tablish a Tablish a Tablish a既是视觉，端到端可验证的RAG 068管道，既是用户友好且有效？069为此，我们提出了通过VI Sual s usce a ttribution（Visa）的检索增加的070代。071在我们的方法中，大型视觉模型072（VLM）处理单个或多个检索的文档图像，不仅为074产生了对074用户查询的答案，而且还返回了075框架内的相关区域内的相关区域。076如图1所示，此方法通过视觉上指示文档中的确切078位置来启用di-077 rect归因，从而允许用户在080原始上下文中快速检查生成答案的原始上下文中的支持证据。VLMS 081不受文档格式或渲染的限制，082