XiaoMi-AI文件搜索系统
World File Search SystemSual
解开过去语义信息的记忆
人类的视觉系统能够处理连续的视觉信息流，但大脑在连续的视觉处理过程中如何编码和检索近期的视觉记忆仍不清楚。本研究探讨了在连续的视觉刺激下，工作记忆保留过去信息的能力。然后我们提出了一项新任务——记忆解开，旨在从 fMRI 信号中提取和解码过去的信息。为了解决过去记忆信息干扰的问题，我们设计了一种解开的对比学习方法，灵感来自前摄干扰现象。该方法将相邻 fMRI 信号之间的信息分离为当前和过去成分，并将它们解码为图像描述。实验结果表明，该方法有效地解开了 fMRI 信号中的信息。这项研究可以推进脑机接口并缓解 fMRI 中时间分辨率低的问题。1
语言模型的视觉检查
学习建模字符串之间的关系的学习是什么教授大型语言模型（LLMS）关于Vi-Sual世界的？我们系统地评估了LLMS生成和识别出增加复杂性的各种视觉概念的能力，然后演示如何使用文本模型来培训预先的视觉表示学习系统。由于语言模型缺乏将视觉信息作为像素消耗或输出视觉信息的能力，因此我们使用代码来表示研究中的图像。尽管LLM生成的图像看起来不像自然图像，但图像产生的结果以及模型校正这些固定图像的能力表明，字符串的精确建模可以教授有关Vi-Sual World的许多方面的语言模型。此外，使用文本模型生成的图像进行了自我监督的视觉表示学习的实验，突出了能够训练能够使用LLMS对自然IM的语义评估进行训练视觉模型的潜力。
视觉解码从逆转人类视觉系统
在这项工作中，我们提出了梦想，这是一种fMRI到图像的方法，用于重建从大脑活动中查看的图像，基于人类Vi-Sual System的基本知识。我们制作的反向途径模仿了人类如何看待视觉世界的高度和平行性质。这些量身定制的途径专门用于fMRI数据的解密语义，颜色和深度线索，反映了从视觉刺激到fMRI录音的前进途径。这样做，两个组件模仿了人类视觉系统中的反向过程：反向Vi-Sual Toalsosis Cortex（R-VAC）逆转了该大脑区域的途径，从fMRI数据中提取语义；反向平行的PKM（R-PKM）组件同时预测fMRI信号的颜色和深度。实验表明，从外观，结构和语义的一致性方面，我们的方法优于最新模型。代码将在https://github.com/weihaox/dream上提供。
从眼睛到苦难大脑的社论：可以将眼睛跟踪视为神经系统疾病的重要数字生物标志物吗？
眼动是视觉的基础方面，并受到多种神经功能的支持，包括大脑中的vi sual处理，通过视神经和协调传播信息。根据一些作者[1]的说法，当其中一个功能受到疾病或受伤的损害时，眼睛如何移动也可以受到影响。在神经系统检查过程中，重要的是要评估有意和无意的眼动运动，以确定三对头骨神经的完整性和正常功能 - 外观，横杆菌和动力神经 - 并研究分布在整个中枢神经系统中的几个电路[2]。考虑到参与注视控制的脑半球，典型和脑干中的大量电路，有很强的迹象表明，眼睛运动受到神经退行性疾病特征的各种神经系统疾病的损害[3]。
tdcl：视觉的密集语义对比度学习 -
摘要。传统的单对象跟踪任务正在经历新的转型浪潮，尤其是随着语义缺乏的出现，这导致了视觉跟踪任务的兴起。但是，将Vi-Sual Tracker与自然语言描述相结合的先前方法倾向于依靠文本描述的全局表示，而较少考虑文本描述和Vi-Sual外观之间的精细连接。本文提议利用双向交叉注意模块来捕获语言和视觉特征之间的连接，这些连接进一步投影为密集的语义反映以保持对齐方式。为了保持搜索区域与耦合的自然语言之间的语义同意，并使融合功能保持一致，本文提出了一种新颖的密集性对比度学习损失，以弥合文本和视觉方式之间的语义差距，并以密集的形式对齐。所提出的框架在跟踪包含自然语言描述的数据集（例如TNL2K和OTB99-LANG）方面实现了有希望的结果。我们的方法提供了一种新颖的解决方案，用于代表和对齐单个对象跟踪任务的跨模式信息，并可能激发该领域的进一步研究。
高质量的视觉引导的声音与不同类别的分离
摘要。我们提出了戴维斯（Davis），这是一个基于i fifusion的udiovi sual separa the the trapion框架，该框架通过生成学习解决了视听声音源分离任务。现有方法通常将声音隔离作为基于面具的回归问题，从而取得了重大进展。但是，他们在捕获高质量分离声音与各种表情所需的复杂数据分布时面临局限性。相比之下，戴维斯利用生成扩散模型和分离U-net直接从高斯噪声中综合了分离的声音，并在音频混合物和视觉信息上进行条件。具有其生成性目标，戴维斯更适合实现各种声音猫的高质量分离的目标。我们将戴维斯与AVE和音乐数据集上现有的最新歧视性音频分离方法进行了比较，结果表明，戴维斯在分离质量方面胜过其他方法，这证明了我们可以解决视听源分离任务的框架的优势。我们的项目页面可在此处提供：https：//wikichao.github.io/data/projects/davis/。
CIC：文化意识的图像字幕的框架
图像字幕使用视觉语言预先训练的模型（VLP）（例如Blip）从图像中生成描述性句子，该模型已得到很大改善。然而，当前的方法缺乏图像中描述的文化元素的详细描述标题，例如亚洲文化群体的人们穿着的传统服装。在本文中，我们提出了一个新的框架，具有文化意识的图像字幕（CIC），该框架生成字幕并描述从代表文化的图像中的文化视觉元素中提取的文化元素。受到通过适当提示来构建视觉模式和大语言模型（LLM）的方法的启发，我们的框架（1）基于图像中的文化类别产生问题，（2）提取文化的视觉问题（VQA）中的文化vi sual元素（VQA），并使用生成的问题以及（3）具有文化文化 - 瓦拉避难所使用llms的文化范围。我们对来自4个不同文化群体的45名参与者进行的人类评估对相应的文化有很高的了解，这表明，与基于VLP的图像字幕基线相比，我们提出的框架会产生更文化的描述性标题。可以在https：//shane3606.github上找到。io/cic。
![arxiv：2502.14892v1 [cs.cv] 2025年2月17日](/simg/g:\will\search\icon\source\b\b495d4ee9dd26d76c8dad02913bbd55ecbbe1439.webp)
arxiv：2502.14892v1 [cs.cv] 2025年2月17日
应开始基于以自我为中心的流媒体视频讲话。具体地，EgoSeak从摄像头佩戴者的第一人称角度进行了演讲启动，从而准确捕获了代理商实时看到的每一刻。与第三人称或固定的摄像机视图不同，以自我为中心的观点尤其与现实世界中的代理人（例如社交机器人）尤其相关，这些机器人必须决定是否说话或保持沉默。通过利用摄像头佩戴者的直接视野（例如，面对另一个人，注意到肢体语言或凝视方向），Egospeak可以更自然地检测出微妙的线索，这些线索可以发出适当的时刻开始讲话。这对于不仅必须实时处理输入，而且在动态，多演讲者的环境中自主响应以使其显然和引人入胜的现实剂量至关重要。