XiaoMi-AI文件搜索系统
World File Search SystemVisual
在不同姿势下的外源空间注意力的触觉 - 视觉联系：心理物理学和ERP的收敛证据
空间注意力的机制优先考虑与其他位置相对于其他位置的感官信息。这些机制已通过多种方法进行了深入的研究，包括心理物理学，事件型大脑电位，功能成像和单细胞记录（例如，参见Parasuraman，1998年，有关所有这些方法的发现）。这项工作导致了许多可复制的发现和一些重要的区别。的秘密关注转移（例如Mangun，Hillyard和Luck，1993； Posner，1978）。刺激驱动的外源机制已与预期驱动的内源性机制区分开来（例如Hopfinger＆Mangun，1998; Jonides，1981; Posner，1978）。通常通过使用空间非预测的外围提示来研究前者，后者通过中央提示或指示可能目标位置的指令进行研究。两种形式的提示都可以在提示的位置带来性能优势，但是外源和内源性机制被认为在几种方面有所不同，包括其效果的时间过程（例如，外源性效应通常更短暂地遵循
机器学习Clifford不变的Ade Coxeter元素
摘要。胸肌分割是乳腺磁共振成像（MRI）的各种计算机辅助应用中的关键步骤。由于胸部和乳房区域之间的伪影和同质性，胸肌边界估计并不是一项琐碎的任务。在本文中，提出了一种基于深度学习的全自动分割方法，以准确描述轴向乳房MR图像中的胸肌边界。提出的方法涉及两个主要步骤：胸肌分割和边界估计。对于胸肌分割，基于U-NET结构的模型用于从输入图像中分离胸肌。接下来，通过候选点检测和轮廓分割来估计胸肌边界。使用两个Real-World数据集，我们自己的私人数据集和一个公开可用的数据集对所提出的方法进行了定量评估。第一个数据集包括12名患者乳房MR图像，第二个数据集由80名患者乳房MR图像组成。所提出的方法在第一个数据集中达到了95％的骰子得分，第二个数据集的骰子得分为89％。在大规模定量乳房MR图像上评估该方法的高分割性能表达了其在将来的乳腺癌临床应用中的潜在适用性。
视觉引导手指运动时的大脑激活
通过视觉引导手部动作进行的计算机交互通常采用抽象的基于光标的反馈或不同程度真实感的虚拟手 (VH) 表示。目前尚不清楚在虚拟现实环境中更改这种视觉反馈的效果。在这项研究中，19 名健康的右撇子成年人使用四种不同类型的视觉反馈执行食指运动（“动作”）和观察运动（“观察”）：简单的圆形光标 (CU)、指示手指关节位置的点光 (PL) 图案、阴影卡通手 (SH) 和逼真的 VH。使用数据手套记录手指运动，并以光学方式记录眼动追踪。我们使用功能性磁共振成像 (fMRI) 测量大脑活动。与基线相比，动作和观察条件均显示枕颞皮质中的 fMRI 信号响应更强。动作条件还会引起运动、体感、顶叶和小脑区域的双侧激活增加。对于这两种情况，带有移动手指的手部反馈（SH、VH）比 CU 或 PL 反馈导致更高的激活，特别是在早期视觉区域和枕颞皮质中。我们的结果表明，与视觉不完整的手部和抽象反馈相比，在视觉引导的手指运动过程中，皮质区域网络的募集更强。这些信息可能对研究和应用或训练相关范例中涉及人体部位的视觉引导任务的设计产生影响。
高质量的视觉引导的声音与不同类别的分离
摘要。我们提出了戴维斯（Davis），这是一个基于i fifusion的udiovi sual separa the the trapion框架，该框架通过生成学习解决了视听声音源分离任务。现有方法通常将声音隔离作为基于面具的回归问题，从而取得了重大进展。但是，他们在捕获高质量分离声音与各种表情所需的复杂数据分布时面临局限性。相比之下，戴维斯利用生成扩散模型和分离U-net直接从高斯噪声中综合了分离的声音，并在音频混合物和视觉信息上进行条件。具有其生成性目标，戴维斯更适合实现各种声音猫的高质量分离的目标。我们将戴维斯与AVE和音乐数据集上现有的最新歧视性音频分离方法进行了比较，结果表明，戴维斯在分离质量方面胜过其他方法，这证明了我们可以解决视听源分离任务的框架的优势。我们的项目页面可在此处提供：https：//wikichao.github.io/data/projects/davis/。
小波损耗的训练变压器模型可改善单图像超分辨率
基于变压器的模型已在包括图像超级分辨率（SR）在内的低级视觉任务中取得了显着的结果。但是，在获得全球信息时，基于不重叠的窗口中依赖自我注意的早期aperach遇到了挑战。为了激活全球更多输入像素，已经提出了混合注意模型。此外，通过仅将像素的RGB损失（例如L 1）降至最低而无法捕获基本的高频降低，训练不足。本文提出了两种贡献：i）我们引入了卷积非本地稀疏注意（NLSA）块，以扩展混合变压器体系结构，以增强其接受场。ii）我们采用小波损失来训练变压器模型，以提高定量和主观性能。虽然先前已经探索过小波损耗，但在基于训练变压器的SR模型中显示了它们的力量是新颖的。我们的实验结果表明，所提出的模型在各种基准数据集中提供了状态的PSNR结果以及出色的视觉性能。
基于事件流的视觉对象跟踪-CVF打开访问
以生物风格的活动相机跟踪近年来引起了人们的兴趣。现有的作品要么利用对齐的RGB和事件数据进行准确跟踪，要么直接学习基于事件的跟踪器。前者会产生较高的推理成本，而后者可能容易受到嘈杂事件或稀疏空间分辨率的影响。在本文中，我们提出了一个新型的分层知识蒸馏框架，该框架可以在培训期间完全利用多模式 /多视图信息，以促进知识转移，使我们能够仅使用事件信号来实现测试过程中高速和低潜伏期视觉跟踪。特别是，基于教师变压器的多模态跟踪框架首先是通过同时喂食RGB框架和事件流来训练的。然后，我们设计了一种新的分层知识蒸馏策略，其中包括成对相似性，功能表示和基于响应地图的知识蒸馏，以指导学生变形金刚网络的学习。在术语中，由于现有的基于事件的跟踪数据集都是低分辨率（346×260），因此我们提出了名为EventVot的第一个大规模高分辨率（1280×720）数据集。它包含1141个视频，并涵盖了许多类别，例如行人，车辆，无人机，乒乓球等。对低分辨率（Fe240Hz，Vi-Sevent，Coesot）和我们新提出的高分辨率EventVot数据集的进行了实验进行了实验
视觉问题的跨模式关系推理网络回答
视觉问题回答（VQA）是一项具有挑战性的任务，需要通过关系推理对图像和问题进行跨模式理解，从而导致正确答案。为了弥合这两种方式之间的语义差距，以前的作品着重于所有可能对的单词区域对齐，而无需更多地关注相应的单词和对象。同样处理所有对，而无需考虑关系一致性，这是模型的性能。在本文中，为了对齐关系对并整合VQA系统的解释性，我们提出了一个跨模式的关系构建网络（CRRN），以掩盖不一致的注意力图，并突出相应单词对的全部潜在比对。具体来说，我们提出了两个相关性掩码，用于模式间和模式内突出显示，从而推断出图像中句子或区域中越重要的单词。可以通过掩盖未对齐的关系来增强一致对的关注相互关系。然后，我们提出了两个新颖的损失L CMAM和L SMAM，并具有明确的超级视觉，以捕获视觉和语言之间的细粒度相互作用。我们进行了彻底的实验来证明有效性并实现了GQA基准的竞争性绩效，以达到61.74％。
nvautonet：快速准确的360DEG 3D自动驾驶视觉感知
实现强大而实时的3D感知是自动驾驶汽车的基础。虽然大多数现有的3D感知方法优先考虑检测准确性，但十个忽略了关键方面，例如计算效率，板载芯片部署友好性，对传感器安装偏差的韧性以及对各种VE-HILE类型的适应性。为了应对这些挑战，我们提出了nvautonet：一种专业的鸟类视图（BEV）感知网络 - 针对自动化车辆的明确量身定制。nvautonet将同步的相机图像作为输入，并预测3D信号（例如障碍物，自由空间和停车位）。NVAUTONET架构（图像和Bev Back-bones）的核心依赖于有效的卷积网络，该网络使用Tensorrt优化了高性能。我们的图像到BEV转换采用简单的线性层和BEV查找表，从而确保了快速推理速度。Nvautonet在广泛的专有数据集中受过培训，在NVIDIA DRIVE ORIN SOC上以每秒53帧的速度运行，始终达到升高的感知精度。值得注意的是，Nvautonet表现出对不同汽车模型产生的偏差偏差的韧性。此外，Nvautonet在适应各种车辆类型方面表现出色，这是通过廉价模型的微调程序来促进的，可以加快兼容性调整。
视觉解码从逆转人类视觉系统
在这项工作中，我们提出了梦想，这是一种fMRI到图像的方法，用于重建从大脑活动中查看的图像，基于人类Vi-Sual System的基本知识。我们制作的反向途径模仿了人类如何看待视觉世界的高度和平行性质。这些量身定制的途径专门用于fMRI数据的解密语义，颜色和深度线索，反映了从视觉刺激到fMRI录音的前进途径。这样做，两个组件模仿了人类视觉系统中的反向过程：反向Vi-Sual Toalsosis Cortex（R-VAC）逆转了该大脑区域的途径，从fMRI数据中提取语义；反向平行的PKM（R-PKM）组件同时预测fMRI信号的颜色和深度。实验表明，从外观，结构和语义的一致性方面，我们的方法优于最新模型。代码将在https://github.com/weihaox/dream上提供。
使用夸张的视觉层次结构映射改善视觉识别
视觉场景是自然组织的，在层次结构中，粗糙的语义递归由几个细节组成。探索这种视觉层次结构对于认识视觉元素的复杂关系至关重要，从而导致了全面的场景理解。在本文中，我们提出了一个视觉层次结构映射器（HI-MAPPER），这是一种增强对预训练的深神经网络（DNNS）结构化理解的新方法。hi-mapper通过1）通过概率密度的封装来调查视觉场景的层次结构组织； 2）学习双曲线空间中的分层关系，并具有新颖的分层对比损失。预定义的层次树通过层次结构分解和编码过程递归地与预训练的DNN的视觉特征相互作用，从而有效地识别了视觉层次结构并增强了对整个场景的识别。广泛的实验表明，Hi-Mapper显着增强了DNN的表示能力，从而改善了各种任务的性能，包括图像分类和密集的预测任务。代码可在https://github.com/kwonjunn01/hi-mapper上找到。