XiaoMi-AI文件搜索系统
World File Search Systemvits
移动设备上的智能数据布局选择的实时核心外围带有智能数据布局的指导
移动设备已成为AI应用程序的重要推动因素，尤其是在需要实时性能的情况下。Vision Transformer（VIT）由于其高精度而已成为这方面的基本基石。最近的努力致力于开发各种变压器体系结构，这些架构在减少计算要求的同时提供了准确性。但是，现有研究主要集中于通过诸如局部注意力和模型修剪等方法来降低理论计算复杂性，而不是考虑在移动硬件上进行现实的性能。尽管这些优化减少了计算需求，但它们要么引入与数据转换有关（例如，重塑和转置）或不规则计算/数据访问模式相关的其他开销。由于其带宽有限，这些导致在移动设备上的高架开销，这甚至使延迟比移动设备上的Vanilla VIT更糟。在本文中，我们提出了ECP-VIT，这是一个实时框架，该框架采用了受大脑功能网络启发的核心期限原则来指导VIT中的自我注意力，并使VIT模型在智能手机上的部署。我们确定了由数据转换引起的变压器结构中的主要瓶颈，并提出了针对硬件友好的核心外围引导自我注意力，以减少计算需求。此外，我们设计了用于修剪模型中密集数据转换的系统优化。ECP-VIT，提出的算法 - 系统合作量可以达到4的速度。6×至26。在四个数据集的移动GPU上进行9倍：STL-10，CIFAR100，Tinyimagenet和Imagenet。
忘记和重新连接：增强基于变压器模型的弹性，以针对位叉攻击
位翼攻击（BFA）涉及操纵模型参数位以显着破坏其准确性的对手。他们通常针对最脆弱的参数，最大程度地损坏了最大的位置。虽然BFAS对深神经网络（DNN）的影响进行了充分研究，但它们对大语言模型（LLM）和视觉变形金刚（VIT）的影响尚未受到相同的关注。受到“大脑重新打开”的启发，我们探索了增强反式造物对此类攻击的弹性。这种潜力在于基于变压器模型的独特架构，特别是它们的线性层。我们的新颖方法称为“忘记”（Loss and Rewire）（FAR），从策略上使用重新布线来将线性层用于混淆神经元的连接。通过将任务从关键神经元重新分布，我们在保留其核心功能的同时降低了模型对特定参数的敏感性。此策略阻碍了对手的意见，可以使用基于梯度的算法来识别和靶向至关重要的参数。我们的方法隐藏了关键参数，并增强了对随机攻击的鲁棒性。对广泛使用的数据集和变压器框架进行了全面的评估表明，远处的机制显着使BFA的成功率降低了1.4至4.2倍，而精度损失最小（小于2％）。
在精细的...
在2021年，美国有182,520例脑和中枢神经系统（CNS）癌症和2024年的25,400例新病例。通过磁共振成像（MRI）的早期检测可显着改善患者的预后。 这项研究微调一个残留的神经网络50版2（RESNET50V2），一种卷积神经网络（CNN），具有挤压和兴奋（SE）注意机制，以增强基于MRI的肿瘤分类，而不是基本的RESNET50V2模型。 通过合并SE块，该模型改善了特征优先级，有效区分神经胶质瘤（n = 901），脑膜瘤（n = 913），垂体肿瘤（n = 844）和无肿瘤（n = 438）。 经过公开可用的Kaggle数据集（n = 3,096）的培训，提议的模型达到了98.4％的分类精度，并且在接收器操作特性曲线（AUC）下的面积为0.999，其表现优于基本型号的92.6％精度，并且0.987 AUC。 在脑膜瘤（P = 0.013）和垂体肿瘤（p = 0.015）的分类精度中观察到在统计学上显着改善，这突出了SE模型分化肿瘤类型的卓越能力。 SE注意机制通过解决特征提取限制和医学成像中的长距离依赖性来提高诊断精度。 然而，仍然存在诸如数据集大小约束，过度拟合风险和潜在表示偏见之类的挑战。 未来的研究将着重于扩展数据集多样性，探索视觉变压器（VIT）以改善功能提取，并采用生成性对抗网络（GAN）进行数据增强。通过磁共振成像（MRI）的早期检测可显着改善患者的预后。这项研究微调一个残留的神经网络50版2（RESNET50V2），一种卷积神经网络（CNN），具有挤压和兴奋（SE）注意机制，以增强基于MRI的肿瘤分类，而不是基本的RESNET50V2模型。通过合并SE块，该模型改善了特征优先级，有效区分神经胶质瘤（n = 901），脑膜瘤（n = 913），垂体肿瘤（n = 844）和无肿瘤（n = 438）。经过公开可用的Kaggle数据集（n = 3,096）的培训，提议的模型达到了98.4％的分类精度，并且在接收器操作特性曲线（AUC）下的面积为0.999，其表现优于基本型号的92.6％精度，并且0.987 AUC。在统计学上显着改善，这突出了SE模型分化肿瘤类型的卓越能力。SE注意机制通过解决特征提取限制和医学成像中的长距离依赖性来提高诊断精度。然而，仍然存在诸如数据集大小约束，过度拟合风险和潜在表示偏见之类的挑战。未来的研究将着重于扩展数据集多样性，探索视觉变压器（VIT）以改善功能提取，并采用生成性对抗网络（GAN）进行数据增强。
使用机器学习在乳房X线图数据上进行乳腺癌诊断的概念模型
乳腺癌数据的乳腺癌诊断越来越多地利用了先进的机器学习（ML）技术，以提高准确性，降低假阳性/负面因素，并支持放射科医生在临床决策中。本研究的重点是通过将多视图乳房X线照片分析与最先进的ML算法相结合，以开发用于乳腺癌诊断的概念模型。现代掌管通常强调深度学习（DL）体系结构，例如卷积神经网络（CNN），视觉变形金刚（VIT）和混合模型，这些模型结合了可靠分类的本地和全球特征外推。尤其是多视图方法，分析了颅底（CC）和中外侧倾斜（MLO）观点的互补信息，是提高诊断准确性的基础。变形金刚和基于注意力的机制有助于观看相关性学习，增强集成和解释性。同时，弱监督的技术，例如多个实例学习（MIL），可以使用有限的注释数据进行肿瘤定位和分类。解决与不平衡数据集和数据稀缺性，预处理方法（例如，增强，基于GAN的合成）和转移学习有关的挑战已成为关键工具。可解释的AI（XAI）方法，例如梯度加权类激活映射（Grad-CAM）和Shapley添加说明（SHAP），通过使模型输出与放射性专业知识相结合来改善临床信任。尽管有进步，但仍然存在诸如数据集多样性，模型通用性和建筑标准化之类的障碍。这项研究综合了多视图ML框架，弱监督和解释性中的关键创新，以提出一个稳健的，概念上综合的诊断模型。的发现旨在弥合AI进步和临床适用性之间的差距，为改善乳腺癌筛查结果提供基础。需要进一步的工作来阻止方法论并验证不同人群的模型。