XiaoMi-AI文件搜索系统
World File Search System图像
swinfsr：使用swinir和频域知识的立体图像超分辨率
立体图像超分辨率（Sterereosr）近年来引起了人们的关注，这是由于手机，自动驾驶汽车和机器人的双重摄像头广泛范围。在这项工作中，我们根据Swinir的扩展（最初是为单个图像还原设计的，又提出了一种名为SWINFSR的新定单方法，以及Fast Fourier卷积（FFC）获得的频域知识。具体来说，为了有效地收集全球信息，我们通过使用FFC明确地不明显地局限于SWINIR中的残留SWIN变压器块（RSTBS），并使用结果域知识，并采用结果的残留Swin傅立叶型跨前块（RSFTB）进行特征提取。此外，为了有效，准确的立体视图融合，我们提供了一个新的跨意见模块，称为RCAM，该模块的竞争性能高于竞争性能，同时比最先进的交叉意见模块更少的计算成本。广泛的实验结果和消融研究证明了我们提出的SWINFSR的有效性和效率。
从越野设置中的长波高光谱图像
近年来，自主导航变得越来越流行。但是，大多数现有的方法在公路导航方面有效，并利用了主动传感器（例如LIDAR）。本文使用Passive传感器，特别是长波（LW）高光谱（HSI）的遍历性估计，重点介绍了自主越野导航。我们提出了一种方法，用于选择一部分高光谱带，该方法通过设计一个最小的传感器设计带选择模块，该模块设计一个最小的传感器，该模块设计了一个最小的传感器，该模块可以测量稀疏采样的光谱带，同时共同训练语义段网络网络，以进行遍历性估计。使用我们的LW HSI数据集在包括森林，沙漠，雪，池塘和开放式田野的各种越野场景中证明了我们方法的有效性。我们的数据集包括在各种天气条件下白天和夜间收集的图像，包括具有广泛障碍的具有挑战性的场景。使用我们的方法，我们学习了所有HSI频段中的一个小子集（2％），这些子频段可以在利用所有高光谱带时获得竞争性或更好的遍历性估计精度。仅使用5个频段，我们的方法能够实现平均类别的效果，该级别仅比使用完整的256波段HSI低1.3％，而仅比使用250频段HSI实现的效果仅比使用了0.1％，这证明了我们方法的成功。
条件感知的神经网络，用于受控图像生成
我们介绍C ONTITION- WARE神经N ETWORK（CAN），这是一种将控制添加到图像生成模式中的新方法。与先前的条件控制方法并行，可以通过动态降低神经网络的重量来控制图像生成过程。这是通过引入条件感知的重量产生模式来实现的，该模块会根据输入条件为卷积/线性层生成条件重量。我们测试可以在Coco上的ImageNet和文本对图像生成上生成类别图像的生成。可以始终如一地为包括DIT和UVIT在内的扩散变压器模型提供显着改进。特别是，Ca n与有效的T（CAT）结合在Imagenet 512×512上达到2.78 FID，超过DIT-XL/2，同时每个采样步骤需要少52×MAC。
迈向图像编辑方法的定量评估指标
在生成AI的快速发展的领域中，这项工作采取了初步步骤，以建立用于比较图像编辑方法的系统范围。当前，缺乏用于评估IMED编辑任务的定量指标，而新方法主要是定性评估的。我们的方法涉及三个关键组成部分：1）使用gan-Control创建大型合成数据集，该数据集可以生成地面图像，以跨不同面部身份进行一致的编辑； 2）匹配过程，将编辑的图像与相应的地面真相配对； 3）将感知距离指标应用于匹配对。我们通过用户研究和一组仿真实验评估了我们提出的框架的有效性。我们的结果表明，我们的方法可以以与人类判断相符的方式对图像编辑方法进行排名。这项研究旨在为随后的研究中的图像编辑技术建立全面的评估框架奠定基础，并就此主题进行对话。
社论：神经应用的计算机视觉和图像综合
多发性硬化症（MS）是中枢神经系统（CNS）的自身免疫性疾病，没有明确的触发因素。然而，流行病学研究表明，遗传性易感性个体中的Epstein-Barr病毒（EBV）感染（EBV）和低维生素D（VIT D）水平等环境因素是重要的危险因素。一个主要建议是，EBV通过分子模拟物等机制触发MS，在该机制中激活的自动反应性B和T淋巴细胞错误地靶向自我抗原。与其他危险因素，低血清VIT D水平，VIT D受体的遗传多态性以及北半球国家的MS发病率更高，这表明VIT D在MS病理学中也起着作用。维生素D，以其神经保护作用和免疫调节作用而闻名，有助于维持促炎和抗炎性免疫细胞之间的平衡。研究和正在进行的临床试验表明，次动物症D与MS的风险增加有关，而VIT D补充剂可以帮助降低疾病的严重程度。此外，次动物症D也与免疫系统失调和增加MS的风险增加有关。本综述探讨了这三个良好认可的危险因素如何在MS的发病机理中相互作用 - EBV感染，次动物症D和失调的免疫系统 - 相互作用。了解这些相互作用及其后果可以为治疗这种毁灭性疾病的新型治疗方法提供新的见解。
用于可变形医学图像配准的相关感知粗到精 MLP
可变形图像配准是医学图像分析的基本步骤。最近，Transformer 已用于配准，其表现优于卷积神经网络 (CNN)。Transformer 可以捕获图像特征之间的长距离依赖性，这已被证明对配准有益。然而，由于自注意力的计算/内存负载高，Transformer 通常用于下采样特征分辨率，无法捕获全图像分辨率下的细粒度长距离依赖性。这限制了可变形配准，因为它需要每个图像像素之间精确的密集对应关系。没有自注意力的多层感知器 (MLP) 在计算/内存使用方面效率高，从而可以捕获全分辨率下的细粒度长距离依赖性。然而，MLP 尚未在图像配准中得到广泛探索，并且缺乏对医学配准任务至关重要的归纳偏差的考虑。在本研究中，我们提出了第一个基于相关感知 MLP 的配准网络 (CorrMLP) 用于可变形医学图像配准。我们的 CorrMLP 在新颖的粗到细配准架构中引入了关联感知多窗口 MLP 块，该架构可捕获细粒度多范围依赖性以执行关联感知粗到细配准。对七个公共医疗数据集进行的大量实验表明，我们的 CorrMLP 优于最先进的可变形配准方法。
推进和评估文本指导的图像inpainting
文本引导的图像编辑可以在支持创意应用程序方面具有变革性的影响。关键挑战是生成忠于输入文本提示的编辑，同时与输入图像一致。我们提出了Imagen Edor，这是一种构建的级联扩散模型，通过对文本引导的图像插入的微调[36]构建。Imagen ed- Itor的编辑忠实于文本提示，这是通过使用对象探测器在培训期间提出涂料面罩来提出的。此外，成像编辑器在输入图像中通过对原始高分辨率图像进行调节管道来详细信息。为了证明定性和定量评估，我们介绍了EditBench，这是用于文本指导图像插入的系统基准。EditBench评估在Natu-ral和生成的图像上探索对象，属性和场景的图像。Through extensive human evaluation on EditBench, we find that object-masking during training leads to across- the-board improvements in text-image alignment – such that Imagen Editor is preferred over DALL-E 2 [ 31 ] and Stable Diffusion [ 33 ] – and, as a cohort, these models are better at object-rendering than text-rendering, and handle mate- rial/color/size attributes better than count/shape attributes.
用于形状和图像分析的加权欧拉曲线变换
Turner 等人的欧拉曲线变换 (ECT) 是嵌入单纯复形的完全不变量，易于进行统计分析。我们对 ECT 进行了推广，以提供同样方便的表示形式，用于加权单纯复形，例如在某些医学成像应用中自然出现的对象。我们利用 Ghrist 等人关于欧拉积分的工作来证明这个不变量——称为加权欧拉曲线变换 (WECT)——也是完整的。我们解释了如何将灰度图像中分割的感兴趣区域转换为加权单纯复形，然后转换为 WECT 表示。该 WECT 表示用于研究多形性胶质母细胞瘤脑肿瘤形状和纹理数据。我们表明，WECT 表示可根据定性形状和纹理特征有效地对肿瘤进行聚类，并且这种聚类与患者生存时间相关。
草稿 - 对现实世界图像字幕和场景标识的全面分析
图像字幕是一项计算机视觉任务，涉及为图像生成自然语言描述。此方法在各个领域都有许多应用，包括图像检索系统，医学和各种行业。但是，尽管图像字幕进行了重要的研究，但大多数研究都集中在高质量的图像或受控环境上，而没有探索现实世界图像字幕的挑战。现实世界的图像字幕涉及复杂而动态的环境，具有许多关注点，图像通常在质量上非常差，甚至对于人类而言，这也是一项艰巨的任务。本文评估了在不同编码机制，语言解码器和培训程序之上构建的各种模型的性能，使用新创建的现实世界数据集由使用MIT室内场景数据集构建的65多个不同场景类的800多个图像组成。该数据集使用IC3方法字幕，该方法通过汇总来自图像的唯一视图点的标准图像字幕模型所涵盖的详细信息来生成更具描述性字幕。