XiaoMi-AI文件搜索系统
World File Search System模型表示
大脑神经网络中的结构化信息表示模型
摘要 人类可以在抽象层面上进行推理，并将信息构建为抽象类别，但其背后的神经过程仍然未知。最近的实验数据表明，这可能涉及大脑的特定子区域，从中可以解码结构信息。基于这些数据，我们引入了组装投影的概念，这是在一般脉冲神经元网络中将结构信息附加到内容的一般原理。根据组装投影原理，结构编码组装会出现，并通过赫布可塑性机制动态地附加到内容表示上。该模型为解释大量实验数据提供了基础，也为模拟大脑的抽象计算操作提供了基础。
分布式与本地表示
Goldsmith, JA (1990)。自音段和韵律音系学。牛津：Blackwell。 Halle, M. (1983)。论区别性特征及其发音实现。自然语言与语言学理论 1：91-105。 Hulst, H. vd (1989)。音段结构的原子：成分、手势和依赖性。音系学 6：253-284。 Lombardi, L. (1994)。喉部特征和喉部中和。纽约：Garland。 Padgett, J. (1995)。特征几何中的限制。斯坦福：CSLI 出版物。 Sandler, W.，编辑 (1993)。音系学：手语音系学特刊。音系学 10：165-306。 Schane, SA (1984)。粒子音系学的基础。音系学年鉴 1：129–155。Walsh, DL (1997)。流音音系学。博士论文。马萨诸塞大学阿默斯特分校。Williamson, K. (1977)。辅音的多值特征。语言 53：843–871。
使用大语言模型揭示人脑中的多层次和多模式语义表示
在最近的研究中，研究人员使用了大型语言模型（LLM）来探索大脑中的语义表示。但是，他们通常分别评估了不同级别的语义内容，例如语音，对象和故事。在这项研究中，我们使用功能磁共振成像（fMRI）记录了大脑活动，而参与者则观看了8.3个小时的戏剧和电影。我们在多个语义级别注释了这些刺激，这使我们能够为此内容提取LLM的潜在表示。我们的发现是LLMS比传统语言模型更准确地预测人脑活动的结果，尤其是对于复杂的背景故事。此外，我们确定了与不同语义表示相关的不同大脑区域，包括多模式视觉 - 语义表示，这突出了同时建模多级和多态语义表示的重要性。我们将使我们的fMRI数据集公开使用，以促进对LLM与人脑功能保持一致的进一步研究。请在https://sites.google上查看我们的网页。com/view/llm and-brain/。
structMRNA一个基于双重水平的BERT模型和有条件的mRNA表示
在这项研究中，我们引入了StructMRNA，这是一种新的基于BERT的模型，该模型旨在详细分析mRNA序列和结构。DNABERT在理解具有双向编码器表示的非编码DNA的复杂语言方面的成功扩展到具有structMRNA的mRNA。这个新模型使用了一种特殊的双级掩蔽技术，该技术涵盖了序列和结构以及条件掩蔽。这使结构mRNA能够通过利用在广泛的数据集进行广泛的预培训期间学到的复杂序列结构相关性来熟练地生成有意义的mRNA序列嵌入mRNA序列。与诸如斯坦福大学OpenVaccine项目中的著名模型相比，结构mRNA在重要的任务中表现更好，例如预测RNA降解。因此，结构mRNA可以通过预测看不见的mRNA序列的二级结构和生物学功能来告知更好的基于RNA的治疗方法。通过严格的评估，进一步证实了该模型的熟练程度，揭示了其前所未有的跨各种生物体和条件的能力，从而在治疗设计的mRNA的预测分析中标志着显着进步。通过这项工作，我们旨在为mRNA分析设定新的标准，从而有助于更广泛的基因组学和治疗性发展领域。
预赛：世界模型预培训具有可学习的动作表示
摘要。基于模型的强化学习学习以学习决策的最新技术是通过建立有关环境染色体的世界模型来做出决策的。世界模型学习需要与真实环境进行广泛的互动。因此，从大规模视频中提出的几种创新方法，例如APV提出了无监督的预先培训模型，从而使更少的交互作用可以很好地调整世界模型。但是，这些方法仅将世界模型作为一个没有动作条件的视频预测模型预先训练，而最终世界模型则是动作条件。此差距限制了无监督的预训练的有效性，以增强世界模型的能力。为了进一步释放无监督的预训练的潜力，我们引入了一种方法，该方法可以预先培训世界模型，但可以从无动作视频中使用，但具有可学习的动作表示（PRELAR）。特定的是，两个相邻时间步骤的观察结果被编码为一种不断的动作表示，世界模型被预先训练为行动条件。为了使隐式动作表示更接近真实的行动，动作状态的一致性损失旨在自我监督其优化。在微调过程中，实际动作被编码为训练整个世界模型的下游任务的动作表示形式。从元世界仿真环境中对各种视觉控制任务进行了评估。代码可以在https://github.com/zhanglixuan0720/prelar结果表明，拟议的预赛显着提高了世界模型学习中的样本效率，证明了在世界模型预训练中进行不合转行动的必要性。
使用基于变压器的分子表示模型改善电解质公式的性能预测
开发高效且高性能的电解质对于推进能量存储技术，尤其是在电池中至关重要。预测电池电解质的性能依赖于各个成分之间的复杂相互作用。因此，一种熟练地捕获这些关系并形成配方的强大表示的策略对于与机器学习模型集成以准确预先属性至关重要。在本文中，我们引入了一种新型方法，利用基于变压器的分子表示模型有效地捕获电解质配方的表示。在两个电池属性预测任务上评估了所提出的方法的性能，与ART方法相比，结果表现出较高的性能。
colbert-xm：零击的多语言信息检索的模块化多矢量表示模型
最先进的神经检索者主要关注英语等高源语言，这阻碍了他们在涉及其他语言的检索中采用。当前通过杠杆化的多语言审计语言模式，可以证明缺乏非英语语言的高质量标记数据。但是，这些模型需要多种语言的大量特定于任务特定的微调，通常在训练阶段的语料库中以最少的反映语言表现较差，以在培训阶段之后结合新语言。在这项工作中，我们提出了一个新颖的模块化检索模型，该模型从单个高资源语言的丰富数据中学习，并有效地转移到各种语言，从而消除了对语言特定标记的数据的需求。我们的模型Colbert-XM展示了与现有的最新的多语言检索器相对的性能，这些猎犬在更广泛的数据集中以各种语言进行了培训。进一步的分析表明，我们的模块化方法具有高度的数据效率，有效地适应了分布数据，并大大减少了能耗和碳排放。通过证明其在零拍摄的Sce-Narios中的熟练程度，Colbert-XM标志着向更可持续和包容的检索系统的转变，从而使有效的信息可以使用多种语言获得。我们将公开发布社区的代码和模型。
使用Riemannian歧管上的距离比较大脑中的表示形式和模型
。cc-by-nc-nd 4.0国际许可证（未经同行评审证明）获得的是作者/资助者，他授予Biorxiv授予Biorxiv的许可，以永久显示预印本。这是该版本的版权持有人，该版本发布于2020年11月27日。 https://doi.org/10.1101/2020.11.25.398511 doi：Biorxiv Preprint