XiaoMi-AI文件搜索系统
World File Search System训练策略
评估调节基因组学预训练的DNA语言模型的代表性
基因组语言模型（GLM）的出现提供了一种无监督的方法，可以在非编码基因组中学习各种顺式调节模式，而无需湿LAB实验产生的功能活动标签。先前的评估表明，可以利用预训练的GLM，以提高广泛的调节基因组学任务的预测性能，尽管使用了相对简单的基准数据集和基线模型。由于这些研究中的GLM在对每个下游任务的重量进行微调时进行了测试，从而确定GLM表示是否体现了对顺式调节生物学的基本理解仍然是一个悬而未决的问题。在这里，我们评估了预训练的GLM的代表性，以预测和解释跨越DNA和RNA调控的细胞类型特异性功能基因组学数据。我们的发现表明，当前的GLM与使用单热编码序列的常规机器学习方法没有实质性优势。这项工作强调了当前GLM的主要局限性，从而在非编码基因组的常规预训练策略中提出了潜在的问题。
通过深入强化学习在自治领中发挥各种策略
诸如Dominion之类的抽象甲板构建游戏对游戏AI研究提出了尚未解决的挑战。卡片相互作用以及对游戏配置的策略的相对强度产生的复杂性导致计算机代理仅限于简单策略。本文介绍了最新进步在几何深度学习到甲板构建游戏中的第一个应用。我们利用了全面的基于multiset的游戏表示，并使用适合支持可变大小操作集的软批评算法来训练策略。提出的模型是第一个成功的基于学习的代理，它在不依赖启发式方法的情况下做出所有决策并支持更广泛的游戏配置。它超过了所有基于学习的方法的性能，并且只能在某些游戏配置中的基于搜索的方法表现出色。此外，该论文还提出了诱导代理人表现出新型人类游戏策略的修改。最后，我们表明，基于卡组合的实力策略需要强化学习算法，能够发现和执行精确的策略，同时忽略更简单的次级政策，并具有更高的即时奖励。
![arxiv：2312.04564v3 [cs.cv] 26 Sep 2024](/simg/5\53678c5de46f0ed9c6cab944ef0cb9e391f0d622.webp)
arxiv：2312.04564v3 [cs.cv] 26 Sep 2024
摘要。最近，3D高斯脱衣舞（3D-GS）在新型视图综合中广受欢迎。它解决了与神经辐射场（NERFS）相关的冗长训练时间和缓慢的渲染速度的挑战。通过3D高斯人的快速，可区分的栅格化，3D-GS实现了实时重新定位和加速训练。但是，他们需要训练和存储的大量记忆，因为它们需要数百万高斯人在每个场景的云云表示中。我们提出了一种利用量化嵌入的技术，可以显着减少每点存储器存储的需求，并采用粗到最佳的训练策略，以更快，更稳定的优化高斯点云。我们的方法发展了一个修剪阶段，从而导致场景表现形式减少，从而导致更快的训练时间和渲染速度，以实时渲染高分辨率场景。在保留重建质量的同时，我们将存储记忆降低了超过一个数量级。我们验证方法在保留视觉质量的各种数据集和场景上的有效性，同时消耗10-20×较小的内存和更快的训练/推理速度。项目页面和代码可在此处提供。
AI4CE - 利用强化学习自动生成太空任务设计概念
假设以 MBSE 为中心的设计成为新的现实，在此基础上，考虑到人工智能 (AI) 领域的成就，用基于 AI 的助手支持早期系统设计似乎是下一个合乎逻辑的步骤。并行工程人工智能 (AI4CE) 研究项目提供了独特的可能性，将并行工程 (CE)、基于模型的系统工程 (MBSE) 和创新系统创建的形式结合起来。它通过一个交互式过程实现了知识库和本体的使用，设计团队定义系统需求并从生成的设计中受益。AI4CE 补充了专用于 MBSE 的概念系统设计过程，并利用了这种共生带来的优势：从模型中获取信息和约束，根据这些信息生成系统设计并将其直接引入同一模型。使用深度强化学习 (DRL)，该 AI 系统根据数据库中的可用组件构建概念设计。 AI 从该数据库中选择哪些确切组件的决定取决于给定的系统要求和 AI 的训练策略 - 即设计经验。首次测试可以证明这种方法的可行性，未来的研究重点是扩展其功能并将其集成到 CE 流程中。
Netmarble AI 中心的 WMT21 自动后期编辑共享任务提交
本文介绍了 Netmarble 提交的针对英语-德语语言对的 WMT21 自动后期编辑 (APE) 共享任务。首先，我们提出了一种训练阶段的课程训练策略。Facebook Fair 的 WMT19 新闻翻译模型被选中来参与大型且强大的预训练神经网络。然后，我们在每个训练阶段使用不同级别的数据对翻译模型进行后训练。随着训练阶段的进行，我们通过在不同训练阶段逐渐添加额外信息，让系统学会解决多项任务。我们还展示了一种将大量额外数据用于 APE 任务的方法。为了进一步改进，我们在微调阶段应用了动态加权平均的多任务学习策略。为了使用有限的数据对 APE 语料库进行微调，我们添加了一些相关的子任务来学习统一的表示。最后，为了获得更好的性能，我们在后训练和微调期间利用外部翻译作为增强机器翻译 (MT)。实验结果表明，我们的 APE 系统在开发数据集上显著提高了所提供的 MT 结果的翻译，TER 和 BLEU 分别提高了 -2.848 和 +3.74。它还证明了其在测试数据集上的有效性，质量高于开发数据集。
BRAINGPT：一个受大脑启发的基于 SNN 的大型
基于人工神经网络 (ANN) 的大型语言模型 (LLM) 表现出色，但在计算效率和生物可解释性方面面临挑战。我们提出了 BrainGPT，这是一种基于测试时间训练 (TTT) 框架并受到脉冲神经网络 (SNN) 和神经生物学原理启发的新型 LLM 架构。我们的方法采用双模型结构，模拟人脑中观察到的分层语言处理，并利用具有自适应阈值的专门积分和激发神经元模型。通过多阶段训练策略，包括量化感知预训练、ANN 到 SNN 的转换和受生物启发的无监督学习，我们实现了从 ANN 到 SNN 的数学证明的无损转换，保留了 100% 的原始 ANN 模型的性能。此外，受生物启发的无监督学习优化了维持 100% ANN 性能所需的最大时间步骤。与原始 TTT 模型相比，BrainGPT 的能源效率提高了 33.4%，训练收敛速度提高了 66.7%。这项工作推动了节能且可生物解释的大型语言模型的开发，这些模型的性能可与最先进的基于 ANN 的模型相媲美，同时显著改进了 TTT 框架。
策略：inter-...
合作多代理增强学习（MARL）中的“视力范围难题”提出了一个重大挑战：有限的访问性阻碍团队的协调，而广泛的视线范围会导致注意力分散注意力和绩效下降。虽然通讯可以潜在地解决这个问题，但现有的方法通常很难跨越不同的视觉范围，从而限制了它们的有效性。我们提出了策略，任务不合时宜的对比前训练策略间互动。策略是一种自适应沟通机制，即使执行过程中的视线范围与训练中的视线范围大不相同，也可以增强代理坐标。通信机制编码消息并将其与本地观察结果集成在一起，并使用对比度学习以基于全球状态的产生表示形式。通过学习生成和解释有关整个环境重要信息的信息，策略使代理商能够通过交流有效地“看到”更多的信息，无论其视觉范围如何。我们在各种情况下，在各种情况下对SMACV2基准进行了全面评估。结果表明，战术始终优于传统的最先进的MARL技术，而没有通信，而在训练中尤其是在极限有限或广泛的观察性的情况下，对视力范围有所不同。
![arxiv：2403.16510V1 [CS.CV] 2024年3月25日](/simg/9\99be5140efb178cbc1415f4a6b4e7854fd545182.webp)
arxiv：2403.16510V1 [CS.CV] 2024年3月25日
尽管基于头脑的化身创造解决方案的出色过程，但直接生成具有全身动作的锚定视频仍然具有挑战性。在这项研究中，我们提出了一种新型的系统，这是一个新型的系统，仅对一个人进行一分钟的视频剪辑进行培训，随后启用了具有精确的躯干和手动运动的自动生成锚固风格的视频。具体来说，我们对输入视频的提议的结构引导的扩散模型进行了修订，以使3D网格条件呈现到人类的外观中。我们为扩散模型采用两阶段的训练策略，有效地结合了特定外观的运动。为了产生任意的长时间视频，我们将框架扩散模型中的2D U-NET扩展到3D样式，而无需额外的培训成本，并且提出了一个简单而有效的批次批次的时间denois-denois-denoising模块，以绕过推理过程中视频长度的约束。最后，引入了一个新颖的特定身份面部增强模块，以提高输出视频中面部区域的vi质量。合理实验证明了有效性和su-
具有深度强化学习的参数 PDE 控制......
参数偏微分方程 (PDE) 的最优控制在工程和科学领域的许多应用中都至关重要。近年来，科学机器学习的进步为参数偏微分方程的控制开辟了新的领域。特别是，深度强化学习 (DRL) 有可能在各种应用中解决高维和复杂的控制问题。大多数 DRL 方法依赖于深度神经网络 (DNN) 控制策略。然而，对于许多动态系统，基于 DNN 的控制策略往往过度参数化，这意味着它们需要大量的训练数据、表现出有限的鲁棒性并且缺乏可解释性。在这项工作中，我们利用字典学习和可微分 L 0 正则化来学习参数偏微分方程的稀疏、鲁棒和可解释的控制策略。我们的稀疏策略架构与 DRL 方法无关，可以在不同的策略梯度和参与者-评论家 DRL 算法中使用，而无需改变其策略优化程序。我们在控制参数化 Kuramoto-Sivashinsky 和对流-扩散-反应 PDE 的挑战性任务上测试了我们的方法。我们表明，我们的方法 (1) 优于基于 DNN 的基准 DRL 策略，(2) 允许推导所学最优控制律的可解释方程，以及 (3) 推广到 PDE 的未知参数而无需重新训练策略。
多模式面部图像生成的扩散驱动的GAN倒置
摘要我们提出了一种新的多模式面部图像生成方法，该方法将文本提示和视觉输入（例如语义掩码或涂鸦图）转换为照片真实的面部图像。为此，我们通过使用DM中的多模式特征在预训练的GAN的潜在空间中使用多模式特征来结合一般的对抗网络（GAN）和扩散模型（DMS）的优势。我们提供了一个简单的映射和一个样式调制网络，可将两个模型链接起来，并在特征地图和注意力图中将有意义的表示形式转换为潜在代码。使用gan inversion，估计的潜在代码可用于生成2D或3D感知的面部图像。我们进一步提出了一种多步训练策略，该策略将文本和结构代表反映到生成的图像中。我们提出的网络生成了现实的2D，多视图和风格化的面部图像，这些图像与输入很好。我们通过使用预训练的2D和3D GAN来验证我们的方法，我们的结果表现优于现有方法。我们的项目页面可在https://github.com/1211SH/diffusion-driven_gan-inversion/。