XiaoMi-AI文件搜索系统
World File Search System图像理解
LLMS中的图像理解
项目描述。大型语言模型（LLMS）的令人印象深刻的成功引发了管理多种方式以外的多种方式的需求。结果，已经出现了大型多模型（LMM），例如GPT-4V，GEMINI，DEEPSEEK-VL和QWEN2-VL。这些模型可以理解涉及视觉和语言的说明并采取行动，即，它们使用户能够上传图像并与LLM讨论。原则上，多模式变压器（例如剪辑和碎片）旨在处理文本和图像输入。这些模型在关节空间中处理视觉和文本数据。这使他们可以理解文本并将其连接到视觉表示。一般框架如下：i）图像特征首先是通过视觉变压器（例如VIT）提取的，该vit将视觉数据转换为嵌入，ii）文本输入由语言模型处理，该模型将文本模型转换为自己的嵌入，然后iiii iii）通过共享的变压器结构或通过交叉说明机构将两个嵌入式处理在一起。但是，有一些架构细节将这些模型彼此区分。
计算机视觉和图像理解-Orbilu
本文提出了一种基于自适应图的多标签图像分类方法。基于图的方法在多标签分类领域已在很大程度上被利用，因为它们的标签相关性模型。 具体来说，它们的有效性不仅在考虑一个域时，而且在考虑多个领域时也得到了证明。 但是，使用的图形的拓扑并不是最佳的，因为它是预先定义的启发式。 此外，连续图卷积网络（GCN）聚集倾向于破坏特征相似性。 为了克服这些问题，引入了用于以端到端方式学习图形连接性的体系结构。 这是通过整合基于注意力的机制和具有相似性的策略来完成的。 然后，使用对抗训练方案将所提出的框架扩展到多个领域。 对众所周知的单域和多域基准进行了许多实验。 结果表明，我们的方法以平均平均精度（MAP）和模型大小与最先进的方法相比，取得了竞争成果。 该代码将公开可用。基于图的方法在多标签分类领域已在很大程度上被利用，因为它们的标签相关性模型。具体来说，它们的有效性不仅在考虑一个域时，而且在考虑多个领域时也得到了证明。但是，使用的图形的拓扑并不是最佳的，因为它是预先定义的启发式。此外，连续图卷积网络（GCN）聚集倾向于破坏特征相似性。为了克服这些问题，引入了用于以端到端方式学习图形连接性的体系结构。这是通过整合基于注意力的机制和具有相似性的策略来完成的。然后，使用对抗训练方案将所提出的框架扩展到多个领域。对众所周知的单域和多域基准进行了许多实验。结果表明，我们的方法以平均平均精度（MAP）和模型大小与最先进的方法相比，取得了竞争成果。该代码将公开可用。
面向自动目标识别的图像理解研究
1 显示了可用于 ATR 应用的各种传感器类型、武器平台类型、目标类型和先验信息。电磁波谱中能量的大气吸收决定了效用，并指导了常用于 ATR 应用的可见光、前视红外 (FLIR)、激光雷达、微波/毫米波雷达和声学传感器的开发。表 2 显示了这些传感器用于目标识别的工作原理和性能特征。术语 ATR 包括自主识别和辅助识别（或“人员在环”的提示）。在提示中，获取由瞄准系统完成，但最终识别由人完成。尽管许多研究人员希望自主执行各种各样的任务，但服务只会勉强自动化关键的操作员功能。人们天生就偏向于人类操作员的灵活性（例如，尽管拥有出色的陆基和海基战略导弹，但空军仍然依赖有人驾驶的战略核轰炸机）。人们更愿意将操作员从人类生存能力较低的任务中移除。士兵可能会远离“行动”，但预计不会放弃控制权。有“人在回路中”的辅助系统将优先于自主系统。现在已经确定，ATR 是一个多学科领域，需要在传感器、处理算法、架构、实施和软件和硬件系统评估方面拥有多样化的技术和专业知识。相关的计算机视觉和模式识别技术和系统已经从使用统计模式识别方法发展到基于模型的视觉，再到基于知识的系统。最近，实验室也在开发针对部分 ATR 问题的自适应和学习系统。图像理解 (IU) 与计算机视觉同义。IU 的重要目标之一是开发技术
视觉图像理解中的图形神经网络
抽象的2D图像理解是计算机视觉中的一个复杂问题，但它是提供人级场景理解的关键。它比识别图像中的对象更进一步，而是尝试理解场景。解决此问题的解决方案构成了一系列任务的基础，包括图像字幕，视觉问题答案（VQA）和图像检索。图提供了一种自然的方式来表示图像中对象之间的关系布置，因此，近年来，图形神经网络（GNN）已成为许多2D图像理解管道的标准组成部分，成为核心体系结构组件，尤其是在VQA任务中。在本调查中，我们回顾了这种快速发展的场，并提供了2D图像理解方法中使用的图形类型的分类法，该域中使用的GNN模型的全面列表以及未来潜在发展的路线图。据我们所知，这是第一个综合调查，涵盖图像字幕，视觉问题的答案和图像检索技术，其重点是将GNN用作其架构的主要部分。
dreamsync：将文本到图像的生成对准图像理解反馈
在微调T2I模型上进行对齐方式，但没有重新调整任何人类反馈。Dream-057 Sync背后的关键见解是利用视觉语言mod- 058 ELS（VLMS）的进步，该eLS（VLMS）可以识别生成的图像和用户的输入060文本之间的细粒度差异-059 CIE [7，20]。在高水平上直观地，我们的方法可以将061视为具有人为反馈（RLHF）的强化学习的可扩展版本；正如Llama2 [49] 063使用人类反馈进行了迭代精制一样，DreamSync 064使用VLMS的反馈改善了T2I模型，除了065，而无需加固学习。066给定了一组文本提示，T2i模型首发-067每个提示都有多个候选图像。DreamSync 068使用两个069 VLM自动评估这些生成的图像。第一个测量世代的忠诚070对文本[7，20]，而第二个则测量美学071质量[23]。最佳世代被收集并使用072使用参数有效的lora 073 Finetuning [19]。使用新的FineTuned T2I模型，我们重新进行了多个迭代的整个过程：生成IM-075年龄，策划新的填充设置，然后再次进行Finetune。076我们使用最新的基准-077分和人类评估进行广泛的实验。我们使用两个T2I模型SDXL [37]和SD V1.4 [39]实验Dreamsync 078。两种模型的结果079都表明Dreamsync增强了Align-080
腹侧视觉通路功能性近红外光谱在实际应用中的可行性研究
朱超哲 , g 和董明浩 a,b,c,* a 西安电子科技大学生命科学与技术学院，分子与神经影像教育部工程研究中心，西安，中国 b 西安电子科技大学生命科学与技术学院，西安 跨尺度生命信息智能感知与调控重点实验室，西安，中国 c 西安电子科技大学人工智能学院，智能感知与图像理解教育部重点实验室，西安，中国 d 西北工业大学外国语学院，西安，中国 e 中国人民解放军资金支付中心，北京，中国 f 西安电子科技大学电子工程学院，智能感知与图像理解教育部重点实验室，西安，中国 g 北京师范大学，认知神经科学与学习国家重点实验室，北京，中国
Joonghyuk的简历
[1] Jaesik Park Minghhyuk Shin，Minghyuk Shin，“使用大型文本对图像模型作为分类的数据源”，第35届有关图像处理和图像理解的研讨会（IPIU），2023。
AI手册 - 网络 - 数据科学
该计划提供了理论和实践知识，使学生能够在各个应用程序领域应用AI技术。它包括解决人类容易但对于数字计算机（例如自然语言理解，自然语言产生和图像理解）的问题的方法。机器学习，深度学习和大型语言模型是M.S.的重要主题。在人工智能中。学生将有机会与教师合作就涉及生物工程，医疗保健，网络安全，数据分析，财务和许多其他领域的申请的项目进行合作。
视频动作理解：教程-DTIC
视频理解是计算机视觉中深度学习研究工作的自然扩展。图像理解领域从人工神经网络（ANN）机器学习（ML）方法的应用中受益匪浅。许多图像理解问题 - 对象识别，场景分类，语义细分等 - 可行的深度学习“解决方案”。 FIXEFFEFFICEDNET-L2当前在Imagenet对象分类任务上拥有88.5％/98.7％TOP-1/TOP-5精度[211，253]。HikVision D模型D在Place2场景分类任务上得分为90.99％的前5个精度[211，322]。hrnet-ocr在CityScapes语义细分测试中的平均值为85.1％[11，40]。自然，许多人希望深度学习方法可以在视频理解问题上取得相似的成功水平。从Diba等人那里绘制。（2019），语义视频理解是理解场景/环境，对象，动作，事件，属性和概念的组合[48]。本文重点介绍了动作理解部分，并通过介绍一组通用的术语和工具，解释基本和基本的概念并提供具体示例，作为教程。我们打算对一般计算机科学受众访问这一点，并假设读者对监督学习有基本的了解 - 从投入输出示例中学习的范式。
从高处的阴影中检索建筑物形状...
摘要 — 不连续的物体（例如建筑物）会在 SAR 图像中产生阴影。阴影是显著的特征，对图像理解大有帮助。由于城市地区建筑物密度高，阴影覆盖了图像的很大一部分，并为构建城市地图提供了重要提示。阴影的一个直接用途是根据阴影尺寸确定建筑物高度。我们在此提出另一种方法，当有高分辨率干涉图时，利用阴影来帮助检测建筑物本身。从具有非常高清晰度的振幅图像和相应的干涉图开始，我们将建筑物检测问题建模为能量最小化，其中考虑了建筑物与其阴影之间的相互作用。尽管噪声水平很高，但该方法可以获得出色的检测结果，尤其是对于高大或孤立的建筑物。