XiaoMi-AI文件搜索系统
World File Search SystemRetrieval
双重有效的私人信息检索和完全...
- 在最坏的情况下，在理想晶格中找到近似最短的向量。- 下一代公开加密的新NIST标准的基础。- 替代结构：近似GCD，NTRU，O（1）-Lank模块LWE
基于GPU的私人信息检索针对机上机器学习推理
抽象的机上计算机学习（ML）推理可以在无需向远程服务器揭示的用户设备上使用私人用户数据。但是，对于依靠嵌入太大而无法存储在设备上的许多应用程序的应用程序，纯粹的私人ML推理解决方案是不切实际的。特别是，建议模型通常在1-10 GB的数据下使用多个嵌入式表，这使得它们不切实际地存储在设备上。为了超越这个障碍，我们建议使用私人信息检索（PIR）有效，私人地从服务器中嵌入嵌入，而无需共享任何私人信息。由于现成的PIR算法通常过于计算，因此很密集，无法直接用于潜伏敏感的推理任务，我们1）提出了基于GPU的新型PIR加速度，以及2）与下游ML的pir共同设计PIR，以获得进一步的加速。我们的GPU加速策略将系统吞吐量提高了20倍以上，超过了CPU PIR实现，而我们的PIR-ML共同设计在固定模型质量下提供了超过5倍的额外吞吐量改进。，对于各种设备上的ML插图，例如建议和语言建模，我们的单个V100 GPU上的系统每秒可提供高达100，000的查询 - 基于CPU的基线，A> 100×吞吐量改进 - 在基于CPU的基线上 - 维护模型准确性。
生成信息检索：抹布和gar
大语言模型（LLM）的出现导致信息检索（IR）技术的显着进步，从而发展了方法，例如检索授权生成（RAG）和产生增强的检索（GAR）[4]。这些方法利用了先进的生成能力和对LLM的深刻语义理解来提高信息系统的精确性和效果。检索增强发电（RAG）旨在提高LLMS产生的响应的可靠性[5]。通过在推理过程中动态检索和集成外部信息，RAG试图将模型的响应锚定在验证内容中。此方法解决了“ hal-lucined”信息的问题，即LLMS生成的综合但实际上不正确的内容。抹布的成功取决于模型有效地使用检索到的信息的能力，该信息依赖于外部来源的质量和完整性。相反，生成增强的检索（GAR）试图通过利用LLM的生成能力来改善搜索结果。gar采用这些模型来扩展和重新搜索查询或增强文档代表[2] [6]，从而更好地将用户查询与文档语料库保持一致。此方法不仅增加了搜索结果的相关性，而且还扩大了可响应复杂查询的内容范围。粗糙集已成功应用于Web挖掘（例如Web用法挖掘和网页分类）[1] [3]。我们期望粗糙的理论可以
通过公平检索增强>公平的人类一代
现有的文本到图像生成模型反映甚至扩大了其培训数据中根深蒂固的社会偏见。这对于人类图像发生尤其关注，其中模型与某些人口统计组有偏见。现有的纠正此问题的尝试受到预训练模型的固有局限性的阻碍，并且无法实质上改善人口多样性。在这项工作中，我们引入了公平检索增强生成（Fairrag），这是一个新颖的框架，该框架对从外部图像数据库中检索到的参考图像进行了预训练的生成模型，以改善人类发电机的公平性。Fairrag可以通过轻质线性模块进行调节，该模块将图像投入到Textual空间中。为了提高公平性，Fairrag应用了简单但有效的借鉴策略，在生成过程中提供了来自Di-Verse人群的图像。广泛的实验表明，Fairrag在人口统计学多样性，图像文本比对和图像保真度方面构成了现有方法，同时在推断过程中产生了最小的计算开销。
通过术语集生成进行生成检索
近年来，生成式检索已成为传统检索范式的一种颇具前景的替代方案。它为每个文档分配一个唯一的标识符（称为 DocID），并使用生成模型直接生成与输入查询相关的 DocID。DocID 通常选择一个或多个自然语言序列，例如标题、合成查询或 n-gram，以便有效地利用生成模型的预训练知识。然而，生成式检索是逐个标记生成的，每次解码时仅保留最可能的候选标记，其余标记则被剪枝。因此，如果相关 DocID 中的任何标记被错误地剪枝，检索就会失败。更糟糕的是，在解码过程中，模型只能感知 DocID 中前面的标记，而无法感知后面的标记，因此很容易出现此类错误。为了解决这个问题，我们提出了一种新颖的生成检索框架，称为术语集生成 (TSGen)。我们使用一组术语作为 DocID，而不是序列。这些术语是根据从相关性信号中学习到的权重来选择的，因此它们可以简明扼要地概括文档的语义并将其与其他文档区分开来。在术语集 DocID 的基础上，我们提出了一种排列不变的解码算法，使用该算法，可以以任何排列生成术语集，但始终会指向相应的文档。值得注意的是，TSGen 在每个解码步骤中都会感知所有有效术语，而不仅仅是前面的术语。鉴于解码空间恒定，它可以从更广阔的视角做出更可靠的决策。TSGen 也具有很强的错误抵御能力：只要解码的
用视觉语言模型的零拍视频检索
诸如大语言模型（LLM）和视觉语言模型（VLM）之类的基础模型已显示出在许多域中的特定于任务特定模型，几乎没有进行微调。这种新的人工智能范式激发了我们将预训练的VLM应用于文本到视频检索。尽管这些模型无法直接处理视频，但我们研究了一个简单的解决方法：提示VLM提供视频帧的详细描述，以生成可用于语义文本搜索的文本文档。我们表明，这种简单的方法为使用MSR-VTT基准测试提供了零拍视频检索的竞争基线，这表明将基础模型应用于视频检索的任务。我们提供了广泛的消融，以了解系统的哪些部分对于性能很重要，并突出了许多将VLMS应用于视频检索的途径。
引用：Adigun TA 和 Igboechesi GP（2024）探索生成人工智能在增强学术图书馆信息检索和知识发现中的作用，国际图书馆和情报科学研究杂志，第 10 卷，第 2 期，第 1-14 页
摘要：本文通过分析生成人工智能 (GAI) 提供的显著优势，探讨了生成人工智能 (GAI) 在增强图书馆信息检索和知识发现方面的作用。其目的是扩大对 GAI 潜力的理解，以及它如何在快速发展的数字环境中重塑学术图书馆的信息检索、可访问性和知识发现。该研究采用了混合方法；系统评价和纵向方法作为其方法论。它提出了 GAI 在增强学术图书馆信息检索和知识发现方面的作用，包括收藏开发和管理、编目和分类、索引、图书馆数据分析和独特的搜索引擎。本文还指出了一些限制 GAI 在学术图书馆中使用的挑战，例如 GAI 可能不准确、员工培训和发展、严格的教育结构以及人际关系和情感联系。作为结论和建议，研究人员建议学术图书馆应加大对员工培训和再培训的投资，因为员工的专业技术发展将确保有效管理和使用人工智能技术。关键词：生成人工智能、信息检索、知识发现和学术图书馆。
生成检索作为多向量密集检索
生成检索使用给定查询的序列到序列体系结构以端到端的方式生成相关文档的标识符。尚未完全理解生成检索和其他检索方法之间的关系，尤其是基于密集检索模型中匹配的方法之间的关系。先前的工作表明，使用原子标识符的生成检索等效于单载体密集的检索。因此，生成检索表现出类似于在使用层次语义标识符时，在树索引中类似于层次搜索的行为。但是，先前的工作仅关注检索阶段，而没有考虑生成检索的解码器内的深层相互作用。在本文中，我们通过证明生成检索和多向量密集检索共享相同的框架，以衡量与文档查询的相关性相同的框架。具体来说，我们研究了生成检索的注意力层和预测头，表明可以将生成检索理解为多向量密集检索的特殊情况。两种方法都将相关性计算为查询和文档向量的产品和对齐矩阵的总和。然后，我们探讨了生成检索如何应用此框架，采用不同的策略来计算文档令牌向量和对齐矩阵。我们已经进行了实验来验证我们的结论，并表明两个范式在其比对矩阵中表现出术语匹配的共同点。
通过顺序学习过程列表以生成检索模型
最近，已经提出了一种新颖的生成检索（GR）范式，其中学会了单个序列到序列模型直接生成相关文档标识的列表（DOCID），给定查询。现有的GR模型通常采用最大似然估计（MLE）进行优化：这涉及给定输入查询的单个相关文档的可能性最大化，并假设每个文档的可能性独立于列表中的其他文档。我们将这些模型称为本文的重点方法。虽然在GR的上下文中已显示出侧面的方法是有效的，但由于其无视基本原则，即排名涉及对列表进行预测，因此被认为是次优的。在本文中，我们通过引入替代列表方法来解决此限制，该方法赋予GR模型以优化DOCID列表级别的相关性。从特定上讲，我们将排名copid列表的生成视为一个序列学习过程：在每个步骤中，我们学习了一个参数的子集，这些参数最大化了the DocID的相应生成可能性，给定（前面的）顶部 - 1个文档。为了形式化序列学习过程，我们为GR设计了位置条件概率。为了减轻梁搜索对推断期间发电质量的潜在影响，我们根据相关性等级对模型生成的文档的生成可能性执行相关性校准。我们对代表性的二进制和多层相关性数据集进行了广泛的实验。我们的经验结果表明，在检索性能方面，我们的方法优于最先进的基准。