XiaoMi-AI文件搜索系统
World File Search System督学
基于半监督学习的自动驾驶的强大对象检测
基于标记数据的抽象深度学习在计算机视觉，语音识别和自然语言处理方面取得了巨大成功。与未标记的数据相比，标记的数据只是海洋中的下降。人们如何有效地利用未标记的数据？研究重点是无监督和半监督的学习来解决此类问题。一些理论和经验研究证明，未标记的数据可以帮助提高对抗性攻击下的概括能力和鲁棒性。但是，关于鲁棒性和未标记数据之间关系的理论研究将其范围限制为玩具数据集。同时，自主驾驶中的视觉模型需要稳健性的良好改善，以确保安全性和安全性。本文提出了一个半监督的学习框架，用于自动驾驶汽车中的对象检测，从而通过未标记的数据提高了鲁棒性。首先，我们建立了一个基线，并通过学习无监督的对比学习方法-Momentum对比度（MOCO）。其次，我们提出了一种半监督的共同训练方法，以标记未标记的数据以进行重新培训，从而改善了对自主驾驶数据集的概括。第三，我们基于搜索算法使用的无监督边界框数据扩展（BBAG）方法，该方法使用增强构层学习来改善对象检测的鲁棒性来进行自动驾驶。我们介绍了一项关于Kitti数据集的实证研究，该数据集采用了多样化的讽刺攻击方法。我们提出的方法在白色框攻击（DPATCH和上下文补丁）和黑盒攻击（高斯噪音，雨水，雾，雾等）下实现了最新的概括和鲁棒性。我们提出的方法和经验研究表明，使用更未标记的数据有益于自主驾驶中感知系统的鲁棒性。
您所需要的只是无序数据：用于广谱头部障碍检测的逆向监督学习
保留所有权利。未经许可不得重复使用。 （未经同行评审认证）是作者/资助者，他已授予 medRxiv 永久展示预印本的许可。此预印本的版权所有者此版本于 2024 年 3 月 3 日发布。；https://doi.org/10.1101/2023.10.10.23296794 doi：medRxiv 预印本
通过自监督学习捕捉时间节点演化：动态图学习的新视角
由于动态图会随着时间的推移而演变，因此在社会关系分析、推荐系统和医学等许多领域发挥着重要作用。捕捉动态图的演变模式是至关重要的。现有的研究大多集中于限制邻居快照之间的时间平滑度，而未能捕捉到有利于图动态嵌入的急剧变化。为了解决这个问题，我们假设动态图节点的演化可以分为时间移位嵌入和时间一致性嵌入。因此，我们提出了自监督时间感知动态图表示学习框架（STDGL），通过精心设计的辅助任务从节点局部和全局连接建模的角度以自监督的方式将时间移位嵌入与时间一致性嵌入分离，进一步增强可解释图表示的学习并提高各种下游任务的性能。在链接预测、边缘分类和节点分类任务上进行的大量实验表明，STDGL 成功学习了解开的时间偏移和一致性表示。此外，结果表明，我们的 STDGL 比最先进的方法有显著的改进，并且由于解开的节点表示而具有吸引人的可解释性和可迁移性。
SpatialSSL：利用自监督学习对小鼠大脑进行全脑空间转录组学研究
自监督学习 (SSL) 是一个丰富的框架，用于在大型数据集中获取有意义的数据表示。虽然 SSL 在计算机视觉和自然语言处理方面显示出令人瞩目的成果，但单细胞领域的多种应用仍需探索。我们研究 SSL 在空间分辨的单细胞 RNA 测序数据的细胞邻域中对细胞分类的应用。为了解决这个问题，我们开发了一个基于空间分子分析数据的 SSL 框架，整合了细胞在组织切片内的分子表达和空间位置。我们在大规模全鼠脑图谱上展示了我们的方法，记录了来自整个鼠脑的 59 个离散组织切片中 4,334,174 个单个细胞中 550 个基因的基因表达测量值。我们的实证研究表明，SSL 提高了下游性能，尤其是在存在类别不平衡的情况下。值得注意的是，我们观察到子图级别的性能改进比全图级别更显著。
空间表示形式的自我监督学习生成多模块化网格单元
为了解决映射，定位和导航的空间问题，Mam-Malian血统开发了惊人的空间表示。一个重要的空间表示是诺贝尔奖的获奖网格细胞：代表自我位置的神经元，局部和多个周期性的数量，看似奇异的非本地和空间周期性活性模式的几个离散时期。为什么Mam-Malian血统学会了这种特殊的网格表示？数学分析表明，这种多周期表示具有良好的特性，作为具有高容量和内在误差校正的代数代码，但迄今为止，在深度复发神经网络中的多模型网格细胞的合成仍然不存在。在这项工作中，我们首先要确定四个方法的关键见解，以回答网格单元格问题：动态系统，编码理论，功能的启发和监督深度学习。然后，我们利用我们的见解提出了一种新的方法，将所有四种方法的优势优雅结合在一起。我们的方法是从规范的角度进行的，无需访问监督职位信息而动机，包括数据，数据，损失功能和网络体系结构，包括数据，数据，损失功能和网络体系结构。没有对内部或读取表示的假设，我们表明，多个网格单元模块可以在我们的SSL框架上训练的网络中出现，并且网络超出其训练分布的范围很大。这项工作包含对对网格细胞起源感兴趣的神经科学家以及对新型SSL框架感兴趣的机器学习研究人员的见解。
可解释视觉转换器采用自监督学习，使用 18F-FDG PET 预测阿尔茨海默病进展
摘要：阿尔茨海默病 (AD) 是一种渐进性神经退行性疾病，影响着全球数百万人。早期准确预测 AD 进展对于早期干预和个性化治疗计划至关重要。尽管 AD 目前尚无可靠的治疗方法，但有几种药物有助于减缓疾病的进展。然而，仍需要进行更多研究来开发检测 AD 及其阶段的可靠方法。最近，人们使用神经影像学方法识别了与 AD 相关的生物标志物。为了发现生物标志物，深度学习技术迅速成为一种关键方法。一种称为氟脱氧葡萄糖正电子发射断层扫描 (18F-FDG-PET) 的功能性分子成像技术已被证明可有效帮助研究人员了解与 AD 相关的大脑形态和神经学改变。卷积神经网络 (CNN) 也长期主导着 AD 进展领域，并成为大量研究的主题，而视觉转换器 (ViT) 等较新的方法尚未得到充分研究。在本文中，我们提出了一种自监督学习 (SSL) 方法，通过使用无标签自提炼 (DINO) 和极限学习机 (ELM) 作为分类器模型对特征提取器进行预训练，使用 ViT 架构自动获取有意义的 AD 特征。在这项工作中，我们研究了一种预测轻度认知障碍 (MCI) 到 AD 的技术，利用 SSL 模型从未标记的 18F-FDG PET 图像中学习强大的表示，从而减少对大型标记数据集的需求。与之前的几种方法相比，我们的策略在准确度 (92.31%)、特异性 (90.21%) 和灵敏度 (95.50%) 方面表现出最先进的分类性能。然后，为了使建议的模型更容易理解，我们突出显示了对 MCI 发展预测有显著影响的大脑区域。我们的方法提供了一种精确而有效的策略来预测从 MCI 到 AD 的转变。总之，本研究提出了一种新颖的可解释 SSL-ViT 模型，该模型可以根据 18F-FDG PET 扫描准确预测 AD 进展。SSL、注意力和 ELM 机制被集成到模型中，使其更具预测性和可解释性。未来的研究将通过将有助于投射的大脑区域与观察到的解剖特征相结合，开发出可行的神经退行性疾病治疗方法。
基于自我监督学习的通用实验室进度预估计的心血管事件检测模型
纠缠是量子物理学的基本特征，也是量子通信，计算和传感的关键资源。纠缠状态是脆弱的，保持连贯性是量子信息处理中的核心挑战。然而，可以通过耗散过程产生和稳定纠缠。实际上，纠缠已显示在某些相互作用的量子系统的稳态状态中存在，仅受到与热浴的不连贯耦合。使用有限维度的系统在一系列双分部分设置中已证明了这一点。在这里，我们着重于无限维玻色粒系统的稳态状态。具体而言，我们考虑了任何持续强度的激发量相互作用的任何骨气模式，并在不同温度下每对夫妇在不同温度下弱到热浴的各方之间进行了划分。我们表明，独特的稳态总是可以分离的。
您所需要的只是无序数据：用于广谱头部障碍检测的逆向监督学习
积液 487 0.963（0.952, 0.975） 0.920（0.897, 0.945） 0.890（0.872, 0.907） 蛛网膜下腔出血 485 0.976（0.967, 0.985） 0.928（0.905, 0.953） 0.922（0.906, 0.938） 硬膜下血肿 482 0.958（0.946, 0.971） 0.898（0.873, 0.925） 0.890（0.872, 0.909） 气头畸形 474 0.967（0.956, 0.979） 0.922 (0.899, 0.947) 0.915 (0.899, 0.933) 脑实质出血 474 0.955 (0.943, 0.969) 0.901 (0.876, 0.928) 0.890 (0.873, 0.908) 多发性脑梗塞 465 0.865 (0.844, 0.887) 0.738 (0.699, 0.776) 0.866 (0.847, 0.886) 放射冠性脑梗塞 459 0.667 (0.636, 0.698) 0.560 (0.514, 0.606) 0.688 (0.662, 0.716) 腔隙性梗塞 456 0.687 (0.657, 0.719) 0.667 (0.623, 0.713) 0.596 (0.568, 0.624) 基底神经节缺血 454 0.861 (0.839, 0.885) 0.731 (0.692, 0.773) 0.865 (0.847, 0.885) 基底神经节脑梗塞 453 0.716 (0.687, 0.747) 0.561 (0.512, 0.609) 0.778 (0.754, 0.802) 缺血 444 0.928 (0.914, 0.945) 0.867 (0.838, 0.899) 0.837 (0.816, 0.858) 钙化 442 0.825 (0.801, 0.852) 0.692 (0.647, 0.738) 0.836 (0.814, 0.858) 软化灶 436 0.917 (0.900, 0.935) 0.853 (0.821, 0.890) 0.833 (0.811, 0.856) 挫伤 424 0.954 (0.940, 0.969) 0.906 (0.880, 0.934) 0.897 (0.879, 0.914) 尾状核头部脑梗死 422 0.898 (0.878, 0.916) 0.820 (0.784, 0.855) 0.813 (0.790, 0.836) 脑室周围脑梗死 397 0.803 (0.777, 0.829) 0.713 (0.668, 0.758) 0.733 (0.707, 0.759) 结节 362 0.819 (0.792, 0.846) 0.671 (0.624, 0.721) 0.830 (0.810, 0.852)脑室内出血 323 0.986 (0.978, 0.995) 0.944 (0.923, 0.969) 0.942 (0.929, 0.957) 脑肿胀 315 0.952 (0.938, 0.969) 0.898 (0.867, 0.933) 0.880 (0.862, 0.900) 硬化 272 0.840 (0.810, 0.872) 0.746 (0.695, 0.801) 0.823 (0.799, 0.844) 占位性病变 261 0.925 (0.904, 0.946) 0.862 (0.820, 0.904) 0.847 (0.827, 0.869) 硬膜外血肿 252 0.947 (0.927, 0.967) 0.893 (0.857, 0.929) 0.892 (0.875, 0.912) 脑水肿 216 0.965 (0.952, 0.981) 0.903 (0.866, 0.944) 0.900 (0.882, 0.918) 轻微出血 212 0.966 (0.953, 0.982) 0.910 (0.873, 0.953) 0.892 (0.874, 0.911) 丘脑脑梗死 205 0.713 (0.671, 0.754) 0.610 (0.546, 0.673) 0.690 (0.662, 0.717) 软组织肿胀 203 0.937 (0.916, 0.962) 0.877 (0.833, 0.926) 0.852 (0.831, 0.873) 动脉硬化 196 0.810 (0.771, 0.849) 0.668 (0.602, 0.735) 0.831 (0.809, 0.853) 实质性血肿 176 0.982 (0.971, 0.995) 0.949 (0.920, 0.983) 0.938 (0.924, 0.952) 半卵圆中心脑梗塞 151 0.733 (0.690, 0.781) 0.702 (0.636, 0.775) 0.663 (0.635, 0.693) 顶叶脑梗塞 148 0.788 (0.742, 0.836) 0.622 (0.541, 0.703) 0.874 (0.856, 0.894) 额叶脑梗塞 123 0.729 (0.674, 0.787) 0.537 (0.447, 0.626) 0.880 (0.862, 0.899) 蛛网膜囊肿 119 0.844 (0.806, 0.886) 0.714 (0.639, 0.798) 0.831 (0.809, 0.852) 脑积水 108 0.999 (0.998, 1.000) 0.991 (0.981, 1.000) 0.969 (0.961, 0.980) 脑白质变性 107 0.831 (0.787, 0.878) 0.682 (0.598, 0.776) 0.851 (0.830, 0.871) 室旁缺血 104 0.875 (0.834, 0.921) 0.702 (0.615, 0.798) 0.938 (0.925, 0.953) 透明隔腔 102 0.842 (0.801, 0.887) 0.814 (0.745, 0.892) 0.689 (0.662, 0.716) 皮下血肿 102 0.896 (0.857, 0.936) 0.843 (0.775, 0.912) 0.816 (0.793, 0.837) 颞叶骨折 101 0.915 (0.875, 0.959) 0.871 (0.812, 0.941) 0.831 (0.809, 0.854) 额叶缺血 92 0.842 (0.795, 0.893) 0.815 (0.739, 0.891) 0.753 (0.729, 0.778) 硬膜下出血 89 0.985 (0.971, 1.000) 0.955 (0.921, 1.000) 0.943 (0.930, 0.957) 脑室扩大 83 0.992 (0.985, 1.000) 0.976 (0.952, 1.000) 0.817 (0.795, 0.839) 顶骨骨折 83 0.909 (0.864, 0.960) 0.880 (0.807, 0.952) 0.831 (0.809, 0.854) 枕骨骨折 82 0.922 (0.881, 0.971) 0.878 (0.817, 0.951) 0.867 (0.847, 0.886) 枕叶脑梗塞 73 0.918 (0.877, 0.962) 0.849 (0.767, 0.932) 0.841 (0.819, 0.862) 额骨骨折 71 0.875 (0.821, 0.936) 0.817 (0.732, 0.915) 0.760 (0.736, 0.784) 骨瘤 70 0.844 (0.790, 0.906) 0.743 (0.643, 0.843) 0.865 (0.845, 0.886)
多标签心血管疾病的半监督学习预测：多数据学研究
摘要 - 电动心电图（ECG）是用于预测心血管疾病（CVD）的非侵入性工具。当前基于ECG的诊断系统显示出深度学习技术的快速发展，表现出色。但是，标签稀缺问题，多个CVD的共发生以及在看不见的数据集上的性能较差极大地阻碍了基于深度学习的模型的广泛应用。在统一框架中解决它们仍然是一个重大挑战。为此，我们提出了一个多标签半监督模型（ECGMATCH），以同时识别多个CVD，并有限的监督。在ECGMATCH中，开发了一个用于弱且强大的ECG数据增强的登山模块，该模块生成了用于模型培训的各种样本。随后，具有邻居一致建模和知识蒸馏的高参数框架是为伪标记的生成和改进而设计的，从而减轻了标签稀缺性问题。最后，提出了一个标签相关对准模块，以捕获标记样品中不同CVD的共发生信息，并将此信息传播到未标记的样本中。在四个数据集和三个协议上进行了广泛的实验，证明了所提出的模型的有效性和稳定性，尤其是在看不见的数据集上。因此，该模型可以为在有限的监督下在多标签CVD预测上实现稳健性能的诊断系统铺平道路。
MBrain：一种用于脑信号的多通道自监督学习框架
脑信号是理解人脑生理活动和疾病的重要定量数据。同时，快速发展的深度学习方法为更好地建模脑信号提供了广泛的机会，近年来吸引了大量研究投入。现有研究大多关注监督学习方法，但该方法需要高成本的临床标签。此外，侵入性（如SEEG）和非侵入性（如EEG）方法测得的脑信号的临床模式差异巨大，导致缺乏统一的方法。为了处理上述问题，本文提出研究脑信号的自监督学习（SSL）框架，可应用于预训练SEEG或EEG数据。直观地看，脑信号是由神经元放电产生的，会在人脑不同的连接结构之间传输。受此启发，我们提出MBrain来学习不同通道（即电极触点，对应不同的脑区）之间隐含的空间和时间相关性，作为统一建模不同类型脑信号的基石。具体来说，我们用一个图结构来表示空间相关性，该图结构是基于提出的多通道 CPC 构建的。我们从理论上证明优化多通道 CPC 的目标可以得到更好的预测表示，并在此基础上应用瞬时时间移位预测任务。然后，我们通过设计延迟时间移位预测任务来捕捉时间相关性。最后，提出替代判别学习任务来保留每个通道的特征。在 EEG 和 SEEG 大规模真实数据集上进行的大量癫痫检测实验表明，我们的模型优于几种最先进的时间序列 SSL 和无监督模型，并且有能力部署到临床实践中。