XiaoMi-AI文件搜索系统
World File Search SystemSwin
Swift：Swin 4D FMRI变压器
从高维数据（例如功能磁共振成像（fMRI））中对时空脑动力学进行建模是神经科学中的一项艰巨任务。现有的fMRI分析方法采用了手工制作的功能，但是功能提取风险在fMRI扫描中失去基本信息的过程。为了应对这一挑战，我们提出了Swift（Swi N 4d F Mri T Ransformer），这是一种Swin Transformer架构，可以直接从fMRI卷中以记忆和计算有效的方式学习大脑动力学。Swift通过实施4D窗口多头自我发项机制和绝对位置嵌入来实现这一目标。我们使用多个大型静止状态FMRI数据集评估SWIFT，包括人类连接群落项目（HCP），青少年脑认知发展（ABCD）和UK Biobank（UKB）数据集，以预测性别，年龄和认知智能。我们的实验结果表明，Swift的表现优于最新的最新模型。此外，通过利用其端到端的学习能力，我们表明，基于对比的基于损失的自我监管的SWIFT预训练可以提高下游任务的性能。补充 - 我们采用可解释的AI方法来识别与性别分类相关的大脑区域。据我们所知，Swift是第一个以端到端方式处理维数时空脑功能数据的Swin Transformer架构。我们的工作在神经科学研究中促进功能性脑成像的可扩展学习方面具有巨大的潜力，通过减少与将变压器模型应用于高维fMRI相关的障碍。项目页面：https：//github.com/transconnectome/swift
基于稀疏视图计算机断层扫描
摘要提出了一种新的稀疏 - 视图计算机断层扫描重建方法，该方法利用了变压器网络的恢复能力，特别是基于Swin Transformer的图像重建网络SWINIR。我们的方法包括三个关键块：通过线性插值来提高采样，使用两者中深度学习的初始重建以及残留的细化。测试了两个架构：一个长期的架构，该结构在残留细化块的两个域中使用神经网络，而在正式结构域中仅使用网络的网络进行了简短。用swinir和u-net测试了每种方法，从而产生了四种变体，所有这些方法在PSNR和SSIM方面都优于FBP和SIRT（例如FBP和SIRT）。使用Swinir的短体系结构取得了最佳结果，其训练和计算时间小于基于Swinir的长架构，但比两个基于U-NET的变体都大。
Swin Unet3D：结合Vision Transformer和卷积的三维医学图像分割网络
脑肿瘤语义分割在临床治疗中起着至关重要的作用，特别是对于临床中经常使用的三维（3D）磁共振成像（MRI）。自动分割脑肿瘤的三维结构可以帮助医生快速了解肿瘤的形状、大小等属性，从而提高术前规划的效率和手术的成功率。在过去的几十年里，三维卷积神经网络（CNN）一直主导着三维医学图像的自动分割方法，这些网络结构取得了良好的效果。然而为了减少神经网络参数的数量，从业者确保三维卷积操作中卷积核的大小一般不超过7×7×7，这也导致CNN无法学习长距离依赖信息。 Vision Transformer (ViT) 非常擅长学习图像中的长距离依赖信息，但它存在参数过多和缺乏归纳偏差来恢复短距离依赖信息的问题。这
基于SWIN的增强遥感图像分类的比较研究
遥感是通过技术设备获取有关所需位置的信息的过程，我们将我们从一定距离放置在选定位置，并在空间，光谱，辐射测量和时间分辨率中分析，显示和监视它，并通过任何距离进行测量，而无需进行任何距离[1]。遥感用于制图，水文学，地质，林业，农业，国防，安全和空间的领域。有具有数据集的平台，例如前哨，Landsat，Maxar，Planet，UC Merced，EuroSat，patternnet，Spacenet和Google Earth Engine。在图像处理和数据挖掘技术中进行了改进，以解决提供大数据和分析数据[2]的问题，而SATLASPRETRAIN [3]数据集是已使用的大数据集之一。
使用SWIN Transformer的头明梯度注入的自我注意图
颅内出血（ICH）是一种威胁生命的医疗紧急情况，需要及时，准确的诊断才能有效治疗并提高患者的存活率。虽然深度学习技术已成为医学图像分析和处理的主要方法，但最常用的监督学习通常需要大型，高质量的注释数据集，这些数据集可能是昂贵的，尤其是对于像素/体素/体素图像分段。为了应对这一挑战并促进ICH治疗决策，我们采用了一种新型的弱监督方法来进行ICH分割，并利用经过分类标签的ICH分类任务训练的SWIN变压器。我们的方法利用了注入头梯度的自我发项图的分层组合，以生成准确的图像分割。此外，我们对不同的学习策略进行了探索性研究，并表明二进制ICH分类对自我发场地图的影响更大，与完全ICH的亚型相比。平均骰子得分为0.44，我们的技术达到了与流行的U-NET和SWIN-UNETR模型相似的ICH分割性能，并使用GradCam胜过类似的弱监督方法，这表明了在挑战医学图像分割任务中所构成的框架的巨大潜力。我们的代码可在https://github.com/healthx-lab/hgi-sam上找到。
![arxiv：2407.02109v2 [cs.cv] 2024年11月23日](/simg/g:\will\search\icon\source\a\ae4d53ed1d1cc0ff7fb46a3f603ec01aff994b63.webp)
arxiv：2407.02109v2 [cs.cv] 2024年11月23日
任何模型（SAM）具有先进的分割分割，但受高分辨率图像上的高计算成本的限制。这需要下采样以满足GPU的约束，牺牲了高精度交互式分割所需的细粒度。为了解决SAM的局限性，我们专注于视觉长度外推，并提出了一个名为HRSAM的轻量级模型。外推可以使接受低分辨率的HRSAM推广到高分辨率。我们首先找到推断和注意力评分之间的联系，这使我们在Swin的注意力下基于HRSAM。然后，我们使用CUDA优化的有效记忆注意以加速HRSAM引入灵活的局部关注（FLA）框架。在FLA中，我们实施了Flash Swin的注意，与传统的Swin注意相比，速度达到了35％的速度，并提出了一种仅KV的填充机制来增强术语。我们还开发了使用状态空间模型有效扩展HRSAM的受访场的自行车扫描模块。我们通过添加锚固图进一步开发了FLA中的HRSAM ++，从而以少量的计算成本为外推提供了多尺度数据和更大的接受场。实验表明，在标准培训下，HRSAMS仅占延迟的38％。随着SAM-依据，推断会使HRSAM能够在较低的延迟下胜过教师模型。进一步的填充能够显着超过先前的SOTA。代码可在https://github.com/youhuang67/high-resolution-segment-anything.git
3D猫：脑肿瘤的通道注意变压器
摘要 - 脑肿瘤诊断是一项具有挑战性的任务，但对于计划治疗以停止或减慢肿瘤的生长至关重要。在过去的十年中，卷积神经网络（CNN）在医学图像中肿瘤的自动分割中的高性能急剧增加。最近，与CNN相比，视觉变压器（VIT）已成为医学成像的稳健性和效率的核心重点。在本文中，我们提出了一个新颖的3D变压器，称为3D catbrats，用于基于最先进的SWIN变压器的磁共振图像（MRIS），用于使用残留块和通道注意模块的最先进的SWIN变压器进行磁共振图像（MRI）。在Brats 2021数据集上评估了所提出的方法，并实现了在验证阶段超过当前最新方法的平均骰子相似性系数（DSC）的定量度量。索引项 - CNN，变形金刚，VIT，语义段
swinfsr：使用swinir和频域知识的立体图像超分辨率
立体图像超分辨率（Sterereosr）近年来引起了人们的关注，这是由于手机，自动驾驶汽车和机器人的双重摄像头广泛范围。在这项工作中，我们根据Swinir的扩展（最初是为单个图像还原设计的，又提出了一种名为SWINFSR的新定单方法，以及Fast Fourier卷积（FFC）获得的频域知识。具体来说，为了有效地收集全球信息，我们通过使用FFC明确地不明显地局限于SWINIR中的残留SWIN变压器块（RSTBS），并使用结果域知识，并采用结果的残留Swin傅立叶型跨前块（RSFTB）进行特征提取。此外，为了有效，准确的立体视图融合，我们提供了一个新的跨意见模块，称为RCAM，该模块的竞争性能高于竞争性能，同时比最先进的交叉意见模块更少的计算成本。广泛的实验结果和消融研究证明了我们提出的SWINFSR的有效性和效率。
基于嵌入式计算机视觉应用
我们使用PYNQ-Z2板上HLS4ML框架的初始实验取得了令人鼓舞的结果，证明了在FPGA上部署复杂的神经网络的可行性。在KRIA KV-260和Ultra96-V2板上成功部署Resnet模型后，我们现在正在探索其与VIT模型的兼容性，并识别任何不支持的参数。测试变压器模型：使用NN2FPGA实现SWIN TF模型，重点是保持准确性。选择FPGA平台：选择最佳的FPGA用于部署，比较云和边缘选项。比较GPU和FPGA：评估在GPU和FPGA上部署的模型的性能和能源使用。
评估糖尿病性视网膜病变的深度学习系统
4。Huang，X.，Wang，H.，She，C.，Feng，J。等：人工智能促进了糖尿病性视网膜病的诊断和筛查。 内分泌学领域。 13，946915（2022）5。 das，S.，Kharbanda，K.，Raman，S.M.R.，Dhas，e。：基于分割的底面图像特征的深度学习体系结构，用于糖尿病性视网膜病的分类。 生物医学信号处理和控制68，102600（2021）6。 Haloi M，Dandapat S，SinhaR。用于渗出量的高斯尺度空间方法可检测，分类和严重性预测。 ARXIV预印ARXIV：1505.00737，2015。 7。 Alban M，Gilligan T.使用荧光素血管造影照片自动检测糖尿病性视网膜病。 斯坦福教育的报告。 2016。 8。 Zhou K，Gu Z，Liu W，Luo W，Cheng J，GaoS。用于糖尿病性视网膜病变分级的多手机多任务卷积神经网络。 2018年第40届IEEE医学与生物学协会工程国际会议（EMBC）。 IEEE，2018：2724-2727。 9。 Qomariah Dun，Tjandrasa H，FatichahC。使用CNN和SVM对糖尿病性视网膜病和正常视网膜图像的分类。 2019年信息与通信技术与系统（ICT）第12届国际会议。 IEEE，2019：152-157。 10。 刘Z，Lin Y，Cao Y，Hu H，Wei Y，Zhang Z. Swin Transformer：分层视觉Huang，X.，Wang，H.，She，C.，Feng，J。等：人工智能促进了糖尿病性视网膜病的诊断和筛查。内分泌学领域。13，946915（2022）5。das，S.，Kharbanda，K.，Raman，S.M.R.，Dhas，e。：基于分割的底面图像特征的深度学习体系结构，用于糖尿病性视网膜病的分类。生物医学信号处理和控制68，102600（2021）6。Haloi M，Dandapat S，SinhaR。用于渗出量的高斯尺度空间方法可检测，分类和严重性预测。ARXIV预印ARXIV：1505.00737，2015。7。Alban M，Gilligan T.使用荧光素血管造影照片自动检测糖尿病性视网膜病。斯坦福教育的报告。2016。8。Zhou K，Gu Z，Liu W，Luo W，Cheng J，GaoS。用于糖尿病性视网膜病变分级的多手机多任务卷积神经网络。 2018年第40届IEEE医学与生物学协会工程国际会议（EMBC）。 IEEE，2018：2724-2727。 9。 Qomariah Dun，Tjandrasa H，FatichahC。使用CNN和SVM对糖尿病性视网膜病和正常视网膜图像的分类。 2019年信息与通信技术与系统（ICT）第12届国际会议。 IEEE，2019：152-157。 10。 刘Z，Lin Y，Cao Y，Hu H，Wei Y，Zhang Z. Swin Transformer：分层视觉Zhou K，Gu Z，Liu W，Luo W，Cheng J，GaoS。用于糖尿病性视网膜病变分级的多手机多任务卷积神经网络。2018年第40届IEEE医学与生物学协会工程国际会议（EMBC）。IEEE，2018：2724-2727。 9。 Qomariah Dun，Tjandrasa H，FatichahC。使用CNN和SVM对糖尿病性视网膜病和正常视网膜图像的分类。 2019年信息与通信技术与系统（ICT）第12届国际会议。 IEEE，2019：152-157。 10。 刘Z，Lin Y，Cao Y，Hu H，Wei Y，Zhang Z. Swin Transformer：分层视觉IEEE，2018：2724-2727。9。Qomariah Dun，Tjandrasa H，FatichahC。使用CNN和SVM对糖尿病性视网膜病和正常视网膜图像的分类。2019年信息与通信技术与系统（ICT）第12届国际会议。IEEE，2019：152-157。 10。 刘Z，Lin Y，Cao Y，Hu H，Wei Y，Zhang Z. Swin Transformer：分层视觉IEEE，2019：152-157。10。刘Z，Lin Y，Cao Y，Hu H，Wei Y，Zhang Z. Swin Transformer：分层视觉