XiaoMi-AI文件搜索系统
World File Search System训练策略
用于自然光未校准光度立体成像
自然光未校准光度立体 (NaUPS) 减轻了传统未校准光度立体 (UPS) 方法中严格的环境和光线假设。然而，由于内在的不适定性和高维模糊性，解决 NaUPS 仍然是一个悬而未决的问题。现有工作对环境光和物体材质施加了强有力的假设，限制了更一般场景中的有效性。或者，一些方法利用复杂模型的监督学习，但缺乏可解释性，导致估计有偏差。在这项工作中，我们提出了自旋光未校准光度立体 (Spin-UP)，这是一种无监督方法，用于解决各种环境光和物体中的 NaUPS。所提出的方法使用一种新颖的设置，在可旋转的平台上捕获物体的图像，通过减少未知数来减轻 NaUPS 的不适定性，并提供可靠的先验来缓解 NaUPS 的模糊性。利用神经逆向渲染和所提出的训练策略，Spin-UP 可以以较低的计算成本恢复复杂自然光下的表面法线、环境光和各向同性反射率。实验表明，Spin-UP 优于其他监督/无监督 NaUPS 方法，并在合成和真实世界数据集上实现了最先进的性能。代码和数据可在 https://github.com/LMozart/CVPR2024-SpinUP 获得。
从人工智能角度看深度学习数据收集的质量挑战
摘要：随着大数据和计算机基础设施推动的强化学习，以数据为中心的人工智能正在推动软件开发方式的根本性转变。为了将数据视为与代码同等重要的一等公民，在这种情况下必须重新考虑软件工程。一个令人惊讶的发现是在整个机器学习过程中花费了多少时间在数据准备上。即使是最强大的机器学习算法，在没有高质量数据的情况下也难以充分发挥作用。因此，以数据为中心的先进技术被更频繁地使用。不幸的是，许多现实世界的数据集很小、不干净、有偏见，有时甚至被污染。在本研究中，我们关注科学界对深度学习应用的数据收集和数据质量的关注。数据收集至关重要，因为深度学习的现代算法主要依赖于大规模数据收集，而不是分类技术。为了提高数据质量，我们研究了数据验证、清理和集成技术。即使数据无法完全清理，强大的模型训练策略也使我们能够在训练模型期间处理不完美的数据。此外，尽管这些问题在传统数据管理研究中没有得到太多关注，但偏见和公平是机器学习现代应用中的重要主题。为了防止不公正，我们研究了模型训练之前、期间和之后的公平控制和策略。我们相信信息管理界有能力解决这些问题。
Brainnpt：用于大脑的预训练变压器网络...
深度学习方法在过去几年中在大脑成像分析中迅速发展，但通常会受到有限的标记数据的限制。未标记数据的预训练模型在许多领域（包括自然语言处理和计算机视觉）的特征学习方面提高了有希望的改进。但是，该技术在大脑网络分析中尚未探索。在本文中，我们专注于具有变压器网络的预训练方法，以利用现有的未标记数据进行大脑功能网络分类。首先，我们提出了一个基于变压器的神经网络，称为Brainnpt，用于大脑功能网络分类。提出的方法利用令牌作为变压器模型的分类嵌入向量，以有效捕获大脑网络的表示。第二，我们为Brainnpt模型提出了一个预训练框架，以利用未标记的大脑网络数据来了解大脑网络的结构信息。分类实验的结果证明了Brainnpt模型而没有预训练，从而通过最新模型实现了最佳性能，并且具有预训练的Brainnpt模型强烈胜过最先进的模型。与模型相比，预训练的Brainnpt模型提高了精度的8.75％，而没有预训练。我们进一步比较了训练策略，分析了模型参数的影响，并解释了训练有素的模型。
向前前进算法的新型显着分析
摘要 - 将前进算法纳入神经网络训练中代表了从传统方法的变革转变，引入了一种双向机制，该机制通过绕过派生式传播的复杂性来简化学习过程。此方法以其简单性和效率而闻名，并涉及执行两个正向通行证 - 第一个具有实际数据以促进积极的强化，第二个具有合成产生的负数据以实现不犯罪性学习。我们的实验证实，前进算法不仅是实验新颖性，而且是一种可行的训练策略，它与常规的多层感知器（MLP）架构竞争。为了克服传统显着性技术固有的局限性，主要依赖于基于梯度的方法，我们开发了一种专门针对前向前框架的定制显着算法。这种创新算法增强了对特征重要性和网络决策的直观理解，从而清楚地可视化数据中最大程度地影响模型预测。通过利用这种规定的显着性方法，我们可以更深入地了解该模型的内部运作，从而显着增强了我们的解释能力，而不是标准方法提供的能力。使用MNIST和时尚MNIST数据集，我们的评估表明我们的方法与传统的基于MLP的模型相当。索引术语 - 前向算法，显着性，MLP
以数据为中心的绿色人工智能：一项探索性实证研究
摘要 — 随着大规模数据集的日益普及，以及经济实惠的存储和计算能力的普及，人工智能所消耗的能源正成为一个日益令人担忧的问题。为了解决这个问题，近年来，研究集中于展示如何通过调整模型训练策略来提高人工智能的能源效率。然而，对数据集的修改如何影响人工智能的能耗仍然是一个悬而未决的问题。为了填补这一空白，在这项探索性研究中，我们评估了是否可以利用以数据为中心的方法来提高人工智能的能源效率。为了实现我们的目标，我们进行了一项实证实验，通过考虑 6 种不同的人工智能算法、一个包含 5,574 个数据点的数据集和两个数据集修改（数据点数量和特征数量）来执行。我们的结果表明，通过专门对数据集进行修改，可以大幅降低能耗（高达 92.16%），而这通常以准确度几乎不会下降甚至不会下降为代价。作为额外的介绍性结果，我们展示了如何通过专门改变所使用的算法，实现高达两个数量级的节能。总之，这项探索性调查从经验上证明了应用以数据为中心的技术对提高人工智能能源效率的重要性。我们的研究结果呼吁制定以数据为中心的技术为重点的研究议程，以进一步实现绿色人工智能的民主化。索引术语 — 能源效率、人工智能、绿色人工智能、以数据为中心、实证实验
通过自监督学习和领域自适应实现雷达信号识别
摘要 — 自动雷达信号识别 (RSR) 在电子战 (EW) 中起着关键作用，因为准确分类雷达信号对于为决策过程提供信息至关重要。深度学习的最新进展显示出在具有大量注释数据的领域中提高 RSR 性能的巨大潜力。然而，这些方法在注释 RF 数据稀缺或难以获得的 EW 场景中就显得不足了。为了应对这些挑战，我们引入了一种自监督学习 (SSL) 方法，该方法利用掩蔽信号建模和 RF 域自适应来增强 RF 样本和标签有限的环境中的 RSR 性能。具体而言，我们研究了对来自不同 RF 域的基带同相和正交 (I/Q) 信号进行预训练掩蔽自动编码器 (MAE)，然后将学习到的表示转移到注释数据有限的雷达域。实证结果表明，与不使用 SSL 的基线相比，我们的轻量级自监督 ResNet 模型在域内信号（即雷达信号）上进行预训练时，1 次分类准确率可提高 17.5%，在域外信号（即通信信号）上进行预训练时，1 次分类准确率可提高 16.31%。我们还为几种 MAE 设计和预训练策略提供了参考结果，为少样本雷达信号分类建立了新的基准。索引术语 — 少样本、雷达信号识别、域自适应、自监督学习、掩蔽自动编码器
MMCFormer：用于脑肿瘤分割的缺失模态补偿变换器
人类脑肿瘤，更具体地说是神经胶质瘤，是最危及生命的癌症之一，通常由神经胶质干细胞异常生长引起。实际上，磁共振成像 (MRI) 模态提供不同的对比度来阐明组织特性，提供有关大脑结构的全面信息以及检测肿瘤的潜在线索。因此，多模态 MRI 通常用于诊断脑肿瘤。然而，由于获取的模态集可能因临床部位而异，脑肿瘤研究可能会遗漏一两种 MRI 模态。为了以端到端的方式解决缺失信息，我们提出了 MMCFormer，一种新颖的缺失模态补偿网络。我们的策略建立在 3D 高效转换器块之上，并使用共同训练策略来有效地训练缺失模态网络。为了确保多尺度特征一致性，MMCFormer 在编码器的每个尺度上都使用全局上下文一致性模块。此外，为了传输特定于模态的表示，我们建议在瓶颈阶段加入辅助标记，以对完整和缺失模态路径之间的交互进行建模。最重要的是，我们包括特征一致性损失，以减少网络预测中的域差距并提高缺失模态路径的预测可靠性。在 BraTS 2018 数据集上进行的大量实验证明了我们的方法与竞争方法相比的优势。实现代码可在 GitHub 上公开获取。关键词：Transformer、缺失模态、分割、MRI、医学。
![arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日](/simg/2\224978bf81ee1923c87510f0608af411428da40d.webp)
arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日
我们提出了 MatSci-NLP，一种用于评估自然语言处理 (NLP) 模型在材料科学文本上的性能的自然语言基准。我们根据公开的材料科学文本数据构建基准，涵盖七种不同的 NLP 任务，包括命名实体识别和关系分类等传统 NLP 任务，以及特定于材料科学的 NLP 任务，例如与创建材料合成程序有关的合成动作检索。我们研究了在 MatSci-NLP 上在不同科学文本语料库上预训练的各种基于 BERT 的模型，以了解预训练策略对理解材料科学文本的影响。鉴于材料科学领域高质量注释数据的稀缺，我们使用有限的训练数据进行微调实验，以促进在 MatSci-NLP 任务中的推广。我们在这种低资源训练环境中进行的实验表明，在科学文本上预训练的语言模型比在一般文本上训练的 BERT 表现更好。Mat-BERT 是一种专门针对材料科学期刊进行预训练的模型，通常在大多数任务中表现最佳。此外，我们提出了一种用于 MatSci-NLP 多任务学习的统一文本到模式，并将其性能与传统微调方法进行了比较。在对不同训练方法的分析中，我们发现我们提出的受问答启发的文本到模式方法始终优于单任务和多任务 NLP 微调方法。代码和数据集是公开可用的 1 。
使用时间
现代神经界面允许在脑电路中访问多达一百万个神经元的活动。但是，带宽极限通常在更大的空间采样（更多通道或像素）和采样的时间频率之间创造权衡。在这里我们证明，可以通过利用神经元之间的关系来获得神经元时间序列中的时空超分辨率，该神经元嵌入了潜在的低维数量人群动力学中。我们新颖的神经网络训练策略，通过时间（SBTT）进行选择性反向传播，从而从数据中学习了潜在动力学的深层生成模型，在这些数据中，观察到的一组变量在每个时间步骤都会发生变化。由此产生的模型能够通过将观测值与学习的潜在动态相结合来推断缺失样本的活动。我们测试SBTT应用于顺序自动编码器，并证明了电生理和钙成像数据中神经种群动态的有效和更高的表征。在电生理学中，SBTT可以准确推断界面带宽较低的神经元种群动力学，从而为植入的neu-roelectronic Interfaces提供了明显的动力节省的途径。在两光子钙成像的应用中，SBTT准确地发现了神经population活性的高频时间结构，从而大大优于当前的最新技术。最后，我们证明，通过使用有限的高带宽采样对预处理动力学模型，然后使用SBTT将这些模型适应这些模型以获取稀疏采样的数据，可以进一步提高性能。
国民警卫队陆军运营和维护概述
陆军陆军计划提供作战节奏 (OPTEMPO) 资源，以训练和维持陆军国民警卫队 (ARNG) 战斗部队，以建立和保持战备状态，同时现代化和重新资本化关键能力，以支持陆军和国民警卫队局局长指示的优先事项。预算通过为作战任务提供训练有素、准备就绪且具有成本效益的部队，以及支持大规模行动或其他意外国家危机的战略激增要求的能力，来支持战备和杀伤力。预算请求支持地面 OPTEMPO 训练策略，包括为驻地训练和战斗训练中心轮换而行驶的实际里程，以及与使用模拟器相关的虚拟里程，例如近战战术训练器和单位射击训练器。综合里程基于旅战斗队 (BCT) 部队结构、可用于驻地训练的 BCT 和部队生成训练要求。综合英里指标中的车辆组成包括 M1 坦克、M2 步兵战车、M3 骑兵战车、斯崔克车辆和加装装甲的 HMMWV。目标是开展以多域作战能力为重点的训练。ARNG 始终致力于训练和准备士兵、领导者和部队，以支持当前和未来的行动。在执行部队训练期间，资源燃料、补给和维修零件；与部队训练和其他特殊训练活动相关的旅行和交通费用以及运营战术总部的费用。与部署前第 32 条部队训练和支持相关的增量成本包含在海外行动成本中。