XiaoMi-AI文件搜索系统
World File Search System训练策略
超出单个神经元：人群反应
层次视觉处理对于对象识别和空间定位等认知功能至关重要。这些计算的神经基础的传统研究集中在单神经元活动上，但是大规模神经记录的最新进展强调了在人群水平上了解计算的需求的日益增长。数字双胞胎 - 计算模型接受了神经数据的培训 - 成功复制了单神经元行为，但是它们在捕获神经元关节活动方面的有效性尚不清楚。在这项研究中，我们投资了数字双胞胎如何描述鼠标视觉皮层中的人群反应。我们表明，这些模型无法准确代表人口活动的几何形状，尤其是其不同的不同，以及这种几何形状如何在整个视觉层次结构中演变。为了解决这个问题，我们探讨了数据集，网络体系结构，损失功能和培训方法如何影响数字双胞胎概括人口属性的能力。我们证明，改善模型对齐方式需要进行训练策略，以增强鲁棒性和概括，反映了在生物系统中观察到的原理。这些发现强调了从多个角度评估数字双胞胎，确定完善的关键领域，并为使用这些模型探索人群级别探索新的计算的基础。
UMBRAE：统一多模态大脑解码
摘要。我们解决了脑驱动研究中普遍存在的挑战，从文献难以恢复准确的空间信息并且需要特定主题的模型这一观察出发。为了应对这些挑战，我们提出了 UMBRAE，一种统一的多模态脑信号解码。首先，为了从神经信号中提取实例级概念和空间细节，我们引入了一种高效的通用脑编码器进行多模态脑对齐，并从后续的多模态大语言模型 (MLLM) 中恢复多个粒度级别的对象描述。其次，我们引入了一种跨主题训练策略，将特定主题的特征映射到一个共同的特征空间。这使得模型可以在没有额外资源的情况下对多个主题进行训练，甚至比特定主题的模型产生更好的结果。此外，我们证明这支持对新主题的弱监督适应，而只需要总训练数据的一小部分。实验表明，UMBRAE 不仅在新引入的任务中取得了优异的成绩，而且在成熟的任务中也优于方法。为了评估我们的方法，我们构建了一个全面的大脑理解基准 BrainHub 并与社区分享。我们的代码和基准可以在 https://weihaox.github.io/UMBRAE 上找到。
传感器 - 语义学者
摘要：小型飞机类别（例如小型空中运输（SAT）、城市空中交通（UAM）、无人机系统（UAS））、现代航空电子解决方案（例如电传操纵（FBW））和减小的飞机（A/C）尺寸的异质性需要更紧凑、集成、数字化和模块化的空中数据系统（ADS），该系统能够测量来自外部环境的数据。在 Clean Sky 2 计划的框架内资助的 MIDAS 项目旨在通过经过商业应用认证的 ADS 满足这些最新要求。主要支柱在于 COTS 解决方案和分析传感器（专利技术）之间的智能融合，以识别气动角度。识别涉及飞行动态关系和基于神经技术的数据驱动状态观察器，一旦训练完成，它们就是确定性的。由于该项目将首次将分析传感器作为冗余系统的一部分安装在民用飞机上，因此本工作中记录的设计活动特别关注适航认证方面。在此成熟度级别，使用模拟数据，下一阶段将使用真实飞行测试数据。描述了训练和测试方面的数据收集。训练操作旨在激发所有动态模式，而测试操作旨在独立于训练集和所有自动驾驶仪配置验证结果。结果表明，替代解决方案是可能的，可以大大节省计算工作量和代码行数，但同时也表明，更好的训练策略可能有利于应对新的神经网络架构。
![arxiv：2409.20537V1 [CS.RO] 2024年9月30日](/simg/c\c9d07b9eebb39943a91510a51e0263b170bd4778.webp)
arxiv：2409.20537V1 [CS.RO] 2024年9月30日
当今培训通才机器人模型的障碍之一是异质的。以前的机器人学习方法经常收集数据以用一个特定的实施例来训练一个任务，这很昂贵且容易拟合。这项工作通过对不同实施方案和任务进行大规模的机器人数据的异质预培训来研究学习政策表示的问题。我们提出了异构训练的变形金刚（HPT），该变压器（HPT）预先训练了策略神经网络的大型，可共享的后备箱，以学习任务和实施不可知的共享表示。该一般体系结构将特定的本体感受和视力输入与从不同的实施例到短的令牌顺序，然后处理这些令牌以映射以映射以控制不同任务的机器人。利用最近的大规模多种设备现实世界机器人数据集以及模拟，部署的机器人和人类视频数据集，我们研究了异质性跨越的训练策略。我们进行实验，以研究培训目标的缩放行为，达到52个数据集。HPT在多个模拟器基准和真实世界设置中，在看不见的任务上，超过20％的策略绩效提高了几个基线，并提高了超过20％的策略绩效。
传感器 - 语义学者
摘要：小型飞机类别（例如小型空中运输（SAT）、城市空中交通（UAM）、无人机系统（UAS））、现代航空电子解决方案（例如电传操纵（FBW））和减小的飞机（A/C）尺寸的异质性需要更紧凑、集成、数字化和模块化的空中数据系统（ADS），该系统能够测量来自外部环境的数据。在 Clean Sky 2 计划的框架内资助的 MIDAS 项目旨在通过经过商业应用认证的 ADS 满足这些最新要求。主要支柱在于 COTS 解决方案和分析传感器（专利技术）之间的智能融合，以识别气动角度。识别涉及飞行动态关系和基于神经技术的数据驱动状态观察器，一旦训练完成，它们就是确定性的。由于该项目将首次将分析传感器作为冗余系统的一部分安装在民用飞机上，因此本工作中记录的设计活动特别关注适航认证方面。在此成熟度级别，使用模拟数据，下一阶段将使用真实飞行测试数据。描述了训练和测试方面的数据收集。训练操作旨在激发所有动态模式，而测试操作旨在独立于训练集和所有自动驾驶仪配置验证结果。结果表明，替代解决方案是可能的，可以大大节省计算工作量和代码行数，但同时也表明，更好的训练策略可能有利于应对新的神经网络架构。
大型语言模型是否反映认知语言处理？
大型语言模型 (LLM) 在文本理解和逻辑推理方面表现出了卓越的能力，这表明 LLM 学习到的文本表征可以促进其语言处理能力。在神经科学中，大脑认知处理信号通常用于研究人类的语言处理。因此，很自然地会问 LLM 的文本嵌入与大脑认知处理信号的对齐程度如何，以及训练策略如何影响 LLM-大脑对齐？在本文中，我们使用表征相似性分析 (RSA) 来测量 23 个主流 LLM 与大脑 fMRI 信号之间的对齐程度，以评估 LLM 对认知语言处理的模拟效果。我们通过实证研究了各种因素（例如，训练前数据大小、模型缩放、对齐训练和提示）对这种 LLM-大脑对齐的影响。实验结果表明，预训练数据大小和模型缩放与 LLM-大脑相似性呈正相关，1 而对齐训练可以显著提高 LLM-大脑相似性。明确的提示有助于 LLM 与大脑认知语言处理的一致性，而无意义的噪声提示可能会削弱这种对齐。此外，各种 LLM 评估（例如 MMLU、Chatbot Arena）的表现与 LLM-大脑相似性高度相关。
传感器 - 语义学者
摘要：小型飞机类别（例如小型空中运输（SAT）、城市空中交通（UAM）、无人机系统（UAS））、现代航空电子解决方案（例如电传操纵（FBW））和减小的飞机（A/C）尺寸的异质性需要更紧凑、集成、数字化和模块化的空中数据系统（ADS），该系统能够测量来自外部环境的数据。在 Clean Sky 2 计划的框架内资助的 MIDAS 项目旨在通过经过商业应用认证的 ADS 满足这些最新要求。主要支柱在于 COTS 解决方案和分析传感器（专利技术）之间的智能融合，以识别气动角度。识别涉及飞行动态关系和基于神经技术的数据驱动状态观察器，一旦训练完成，它们就是确定性的。由于该项目将首次将分析传感器作为冗余系统的一部分安装在民用飞机上，因此本工作中记录的设计活动特别关注适航认证方面。在此成熟度级别，使用模拟数据，下一阶段将使用真实飞行测试数据。描述了训练和测试方面的数据收集。训练操作旨在激发所有动态模式，而测试操作旨在独立于训练集和所有自动驾驶仪配置验证结果。结果表明，替代解决方案是可能的，可以大大节省计算工作量和代码行数，但同时也表明，更好的训练策略可能有利于应对新的神经网络架构。
传感器 - 语义学者
摘要：小型飞机类别（例如小型空中运输（SAT）、城市空中交通（UAM）、无人机系统（UAS））、现代航空电子解决方案（例如电传操纵（FBW））和减小的飞机（A/C）尺寸的异质性需要更紧凑、集成、数字化和模块化的空中数据系统（ADS），该系统能够测量来自外部环境的数据。在 Clean Sky 2 计划的框架内资助的 MIDAS 项目旨在通过经过商业应用认证的 ADS 满足这些最新要求。主要支柱在于 COTS 解决方案和分析传感器（专利技术）之间的智能融合，以识别气动角度。识别涉及飞行动态关系和基于神经技术的数据驱动状态观察器，一旦训练完成，它们就是确定性的。由于该项目将首次将分析传感器作为冗余系统的一部分安装在民用飞机上，因此本工作中记录的设计活动特别关注适航认证方面。在此成熟度级别，使用模拟数据，下一阶段将使用真实飞行测试数据。描述了训练和测试方面的数据收集。训练操作旨在激发所有动态模式，而测试操作旨在独立于训练集和所有自动驾驶仪配置验证结果。结果表明，替代解决方案是可能的，可以大大节省计算工作量和代码行数，但同时也表明，更好的训练策略可能有利于应对新的神经网络架构。
![arxiv：2407.15328v2 [CS.CV] 2024年7月31日](/simg/6\694bcae4c8bfb2d52a2f818deaa52613e5e7907a.webp)
arxiv：2407.15328v2 [CS.CV] 2024年7月31日
摘要。扩散模型以其具有巨大的新颖和高质量样本的能力而闻名，最近由于其数据记忆行为而引起了人们的关注，这带来了隐私风险。最新的减轻内存方法仅针对跨模式生成任务中的文本模式问题，或者使用数据增强策略。在本文中，我们从视觉模态的角度提出了一个针对扩散模型的新型培训框架，这对于缓解记忆更为通用和基本。为了促进扩散模型参数中的“获取”存储信息，我们通过将数据分成多个碎片来训练多个模型并间歇地汇总了这些模型参数，提出了一种迭代集合训练策略。此外，对损失的实际分析表明，易于记忆的图像的训练损失显然较低。因此，我们提出了一种抗差异控制方法，以从当前的迷你批次中排除损失值较低的样品，以避免记忆。进行了四个数据集的广泛实验和分析，以说明我们方法的有效性，结果表明我们的方法成功地降低了记忆能力，同时甚至略微改善了性能。此外，为了节省计算成本，我们成功地应用了我们的方法，以有限的时期来微调训练良好的扩散模型，以证明我们方法的适用性。代码可在https://github.com/liuxiao-guan/iet_agc中找到。
自然光自旋光未校准光度立体
自然光未校准光度立体 (NaUPS) 减轻了经典未校准光度立体 (UPS) 方法中严格的环境和光线假设。然而，由于内在的不适定性和高维模糊性，解决 NaUPS 仍然是一个悬而未决的问题。现有的工作对环境光和物体的材质施加了很强的假设，限制了它在更一般场景中的有效性。或者，一些方法利用监督学习和复杂的模型，但缺乏可解释性，导致估计有偏差。在这项工作中，我们提出了自旋光未校准光度立体 (Spin-UP)，一种无监督方法来解决各种环境光和物体中的 NaUPS。所提出的方法使用一种新颖的设置，可以在旋转平台上捕捉物体的图像，通过减少未知数来减轻 NaUPS 的不适定性，并提供可靠的先验来缓解 NaUPS 的模糊性。利用神经逆向渲染和提出的训练策略，Spin-UP 可以在复杂的自然光下恢复表面法线、环境光和各向同性反射率。实验表明，Spin-UP 的表现优于其他监督/无监督 NaUPS 方法，并在合成和真实数据集上实现了最先进的性能。代码和数据可在 https://github.com/LMozart/CVPR2024-SpinUP 上找到。