XiaoMi-AI文件搜索系统
World File Search System推理
大型语言模型推理中动态策略选择的自适应求解器框架
大型语言模型 (LLM) 在处理推理任务方面表现出令人印象深刻的能力。然而，与能够本能地根据任务的复杂性调整问题解决策略的人类不同，大多数基于 LLM 的方法采用一刀切的方法。这些方法采用一致的模型、样本大小、提示方法和问题分解级别，而不管问题的复杂性如何。这些方法的不灵活性会带来不必要的计算开销或次优性能。为了解决这一限制，我们引入了一个自适应求解器 (AS) 框架，该框架可以动态调整解决策略以适应各种问题，从而实现测试时间计算资源的灵活分配。该框架有两个主要模块。初始评估模块使用答案一致性评估当前解决方案的可靠性。如果解决方案被认为不可靠，则后续的适应模块开始发挥作用。在这个模块中，各种类型的适应策略被协同使用。通过这种动态和多方面的适应，我们的框架可以帮助减少计算消耗并提高性能。复杂推理基准的实验结果表明，我们的方法可以在保持原有性能的同时显著降低 API 成本（最高可达 85%）。此外，在相同成本下，与基线相比，其准确率最高可提高 4.5%。代码和数据集可在 https://github.com/john1226966735/Adaptive-Solver 上找到。
边缘是AI推理的重心
本文档中指的是未来计划或期望的语句是前瞻性的陈述。这些陈述是基于当前的期望，并且涉及许多可能导致实际结果与此类陈述中表达或暗示的风险和不确定性。有关可能导致实际结果差异的因素的更多信息，请参阅www.intc.com上的最新收入发布和SEC备案。
Ikram Chraibi Kaadoud、Lina Fahed、Philippe Lenca。可解释的人工智能：知识发现、知识表示和表示学习交叉点的叙述性回顾。MRC 2021：第十二届国际情境建模与推理研讨会，2021 年 8 月，加拿大蒙特利尔（虚拟）。第 28-40 页。 hal-03343687
可解释人工智能 (XAI) 最近已成为一个非常活跃的领域，这主要是由于神经网络等黑箱模型的广泛发展。最新技术定义了最近的 XAI 目标，并提出了具体方法。在 XAI 和其他领域之间可以找到隐式链接，尤其是与知识和神经网络相关的领域。我们在此旨在强调这些隐式链接。我们对两个领域的研究工作进行了叙述性回顾：（i）知识领域，重点关注知识发现和表示，以及（ii）表示学习。我们讨论了这些领域与 XAI 之间的相似性和连接点。我们得出结论，为了使黑匣子更加透明，XAI 方法应该受到更多启发，并利用知识和表示学习领域的过去和最近的工作。通过本文，我们为多学科研究人员和人工智能专家以及人工智能知识渊博的用户提供了 XAI 领域的切入点。
开发高效记忆推理
项目详情：深度学习的快速发展催化了大规模模型的发展，尤其是基于 Transformer 的架构（例如 BERT 和 GPT），它们在自然语言处理、计算机视觉和语音识别领域树立了新的性能标准。尽管这些模型功能强大，但它们需要大量的计算能力和内存，这给资源受限环境下的微调和推理带来了巨大挑战。这种限制阻碍了此类模型在计算资源有限的实际应用中的广泛应用，例如移动设备、边缘计算以及技术基础设施较差的发展中地区。问题陈述：问题的关键在于调整和部署大规模模型需要大量的资源。针对特定任务对这些模型进行微调需要大量的计算工作，通常需要重新训练数百万甚至数十亿个参数。此外，使用这些模型进行推理需要大量的内存和处理能力，这使得实时或设备端应用变得不切实际。我们迫切需要一种能够减少计算和内存开销且不严重影响模型性能的技术。
AASD：通过在多模式大型语言模型中对准投机解码来加速推理
多模式大型语言模型（MLLM）在视觉教学调整中取得了显着的成功，但由于大型语言模型（LLM）骨干的自动回归解码，它们的推论既耗时又耗时。传统的加速推理方法，包括模型压缩和从语言模型加速的迁移，通常会损害输出质量或有效整合多模式特征的face Challenges。为了解决这些问题，我们提出了AASD，这是一个新型的框架，用于加速使用精制的KV缓存并在MLLM中对准投机解码。我们的方法利用目标模型的缓存键值（KV）对提取生成草稿令牌的重要信息，从而有效地投机解码。为了减少与长多模式令牌序列相关的计算负担，我们会引入KV投影仪，以压缩KV缓存，同时保持代表性保真度。此外，我们设计了一种目标放射线注意机制，以优化草稿和目标模型之间的对齐方式，从而以最小的计算开销来实现真实推理情景的好处。主流MLLM的广泛实验表明，我们的方法在不牺牲准确性的情况下达到了2倍推理的速度。这项研究不仅为加速MLLM推断提供了有效且轻巧的解决方案，而且还引入了一种新颖的对齐策略，用于在多模式背景下进行投机解码，从而为未来的有效MLLM研究奠定了强大的基础。代码可在https://anonymon.4open.science/r/asd-f571上使用。
利用llms进行因果推理和发现
因果推断广泛应用于社会科学，以分析特定治疗的影响。因果推理工具依赖于事先发现基本因果图，这是一个称为因果发现的过程。传统上，构建因果图取决于专家领域知识。但是，嵌入大型语言模型（LLMS）中的丰富知识提供了一种有希望的选择。尽管如此，仅LLMS在推断完整的因果图方面的表现很差，这主要是因为它们无法说明因果图的定向无环性。为了解决这一限制，我们提出了一种新颖的方法，将LLM与统计因果发现算法相结合，以更好地利用LLM的专家样能力。实验结果表明，所提出的方法显着提高了因果序的准确性，并有效地减少了下游因果效应估计任务中的错误。
分散推理的框架
ML模型在医疗保健，财务和安全等关键领域的快速发展增强了对强大的数据安全性，模型完整性和可靠输出的需求。大型多模式基础模型，同时对于复杂任务至关重要，在可伸缩性，可靠性和潜在滥用方面面临着挑战。分权系统通过分配工作量和减轻失败的中心点来提供解决方案，但它们引入了未经授权访问跨节点敏感数据的风险。我们通过旨在负责AI开发的综合框架来应对这些挑战。我们的方法包括：1）零知识证明，以确保安全模型验证，增强信任，而不会损害实践。2）基于共识的验证检查，以确保节点之间的一致输出，减轻幻觉并维持模型完整性。3）拆分学习技术，可以将模型跨不同节点进行分割，从而通过任何时候防止完整的数据访问来保留数据隐私。4）通过受信任的执行环境（TEE）来保护数据和计算，基于硬件的安全性。此框架旨在增强安全性和隐私，并提高多模式AI系统的可靠性和公平性。促进有效的资源利用有助于更可持续的AI开发。我们的最先进的证明和原则证明了该框架在负责任地使人工智能民主化的有效性，为建立安全和私人的基础模型提供了有前途的方法。
是什么使良好的视觉说明？合成视觉说明调整的复杂视觉推理说明
视觉指导调整对于赋予多模式大语言模型（MLLMS）的零弹性概括性capabil至关重要。在本文中，我们旨在投资一个基本问题：“什么使良好的视觉说明造就了”。通过一项综合实证研究，我们发现着重于复杂的视觉推理任务的指导在改善MLLM的性能方面特别有效，结果与指导复杂性有关。基于这种见解，我们开发了一种系统的方法来自动创建高质量的复杂视觉推理指令。我们的方法采用合成完整的改革范式，利用多个阶段来逐步提高说明的复杂性，同时保证质量。基于此AP-PRACH，我们创建了具有32K示例的Comvint数据集，并在其中创建了四个mllms。实验结果始终取消了所有组合MLLM的性能，例如MME感知和MME认知的LLAVA分别提高了27.86％和27.60％。我们的代码和数据可在链接上公开获取：https：//github.com/rucaibox/comvint。
liss2010定量方法和因果推理简介
课程描述：本课程对定量方法和因果推断的基础提供了全面的介绍。通过将理论见解与现实世界的政策应用程序相结合，学生将通过使用统计软件Stata的动手实时编码会话获得实践技能（可通过King's Software Center免费下载）。该课程是为从事应用研究的学生而设计的，它鼓励参与者在“ BYO Recression Scars”课程中带来自己的工作进行讨论和协作改进。该课程的结尾是针对裁判裁判在定量分析中的批评的讲习班，为参与者做好了成功的学术出版物的准备。