XiaoMi-AI文件搜索系统
World File Search SystemRepresentation
歧视性和一致表示蒸馏
知识蒸馏（KD）旨在将知识从大型教师模型转移到较小的学生模型。虽然对比学习通过创建歧视性表示表现出了在自我监督学习中的希望，但其在知识蒸馏中的信息仍然有限，并且主要涉及歧视，忽略了教师模型捕获的结构关系。为了解决这一限制，我们提出了d Iscriminative and C On Consistent d Istillation（DCD），它采用了对比损失以及一致性正规化，以最大程度地减少教师和学生代表分布之间的差异。我们的方法引入了在训练过程中适应这些互补目标的可学习温度和偏置参数，以取代对比度学习方法中常用的固定超平衡器。通过CIFAR-100和Imagenet ILSVRC-2012的广泛实验，我们证明DCD实现了状态的表现，学生模型有时会超过教师的准确性。此外，我们表明DCD的所学表示形式将转移到小型成像网和STL-10 1时表现出较高的跨数据集泛化。
关于预测人类语音误解的自我监督的学习语音表征的好处
深度神经网络（DNNS）最近已证明接受自我监督的学习（SSL）训练，可以产生类似于相同语音输入的大脑激活的表示。SSL表示能否有助于解释人类的语音感知错误？旨在阐明这个问题，我们研究了它们用于语音误解预测的用途。我们从WAV2VEC 2.0中提取表示形式，这是一种用于语音的SSL架构，并使用它们来计算特征作为模型，以预测语音感知误差在噪声信号中的语音感知错误。我们对3000多个语料库进行了实验，英语中有3000多个毫无意义的混乱。我们考虑基于多PLE SSL的功能，并将其与传统的声学基准和通过ASR的监督学习微调获得的传统声学基准和特征。我们的结果表明，从适当的层中提取SSL表示的支撑性，进一步表明了它们对人类语音感知的建模潜力。索引术语：语音感知，可理解性预测，次级清晰度，自我监督的学习，语音中的语音
机器人还是自动班车？城市代表和旅行习惯在法国明天的模式选择中的作用
1我们假设个人不会想到共享机器人的特殊情况（从乘车共享的意义上），因为在启动问卷时，法国的这种形式的流动性（常规合并出租车）并不是很好。2 2014年SAE国际分类（2016年修订）列出了以下自治级别：（L0）手动驾驶； （L1）横向（例如，泳道系统）或纵向（例如高级巡航控制）控制是自动化的，并且驾驶员必须始终注意道路； （L2）自动化的侧面和纵向控制（例如特斯拉），驾驶员必须始终注意道路； （L3）L2 +驱动程序
基于CVAE的因果表示从视网膜底面图像学习与年龄相关的黄斑变性（AMD）预测
摘要 - 关于相对较差的预后和急性视力障碍，分析与年龄相关的黄斑变性或AMD是视网膜疾病分析中最重要的任务之一。尤其是，构建分析和预测湿AMD的方法，其特征是由于新血管形成而导致新科学家造成的快速RPE损害，数十年来一直是许多眼科医生的一项艰巨任务。最近，随着ML/DL框架和计算机视觉AI的进步，这些先前的努力现在导致了AMD预测和机制分析的急剧增强。具体来说，使用基于注意机制的CNN或XAI方法的使用在预测AMD状态和可靠解释方面会导致更高的性能。在最先进技术的使用中，这项研究实施了一种新型的潜在因果表示学习框架，以进一步增强基于AI的模型，以了解仅访问视网膜底面图像的复杂因果AMD机制，同时构建了更可靠的AMD预测模型。结果表明，基于有效的卷积VAE和GAE的显式潜在因果建模可以导致基本AMD机制的成功因果关系，同时返回基本的因果因素，这些因素可以可靠地可靠地区分正常的基础和AMD底层图像，例如诊断预测。
hgcpep：一种基于超图的深度学习模型，用于增强癌症相关的NCPEP识别中肽特征的表示
预印本（未通过同行评审认证）是作者/资助者。保留所有权利。未经许可就不允许重复使用。此版本的版权持有人于2025年2月17日发布。 https://doi.org/10.1101/2025.02.13.637760 doi：Biorxiv Preprint
AI助手中BBC新闻内容的表示
个体错误突出了我们研究发现的一些问题。例如，Google的双子座错误地指出：“ NHS建议人们不要开始烟，并建议想要退出的吸烟者应使用其他方法”。实际上，NHS确实建议使用烟作为戒烟的方法。微软的副作用错误地说，吉西尔·佩利科特（GisèlePelicot）在她开始遭受停电和记忆力损失时发现了针对她的罪行。实际上，当警察在没收丈夫的电子设备时，警察展示了他们发现的视频时，她发现了有关罪行的信息。困惑错误地说明了迈克尔·莫斯利（Michael Mosley）死亡的日期，并在他去世后的家人中误导了利亚姆·佩恩（Liam Payne）的一份声明。Openai的Chatgpt在2024年12月声称2024年7月在伊朗被暗杀的Ismail Haniyeh是哈马斯领导人的一部分。
![arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日](/simg/5/5ee1b28253fd57f67c8de75bac41fc3c62096654.webp)
arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日
摘要 - 基于变压器的模型主导了NLP和视觉应用，其基本机制却尚不清楚为标签空间映射到标签空间的基本机制。在本文中，我们研究了视觉变压器（VIT）的已知表示形式漏洞的来源，其中感知相同的图像可以具有非常不同的表示，而语义上无关的图像可以具有相同的表示形式。我们的分析表明，对输入的不可感知的变化可能会导致显着的表示变化，尤其是在以后的层中，这表明VIT的性能中的潜在不稳定性。我们的全面研究表明，在早期层中微妙的较微妙的效果通过网络传播和放大，在中间到晚层中变得最明显。这种洞察力激发了神经维特 - 武器的发展，这是一种新型的防御机制，在战略上使早期层中脆弱的神经元中和脆弱的神经元，以防止一系列对抗性效应。我们在各种攻击中展示了神经果赛的有效性，尤其是在强烈的迭代攻击中出色，并展示了其非凡的零弹性概括能力。在没有微调的情况下，我们的方法在对抗性示例中实现了77.8％的效率精度，超过了常规的鲁棒性方法。我们的结果为对抗性效应如何通过VIT层传播，同时提供了一种有希望的方法来增强视觉变压器对对抗性攻击的鲁棒性。此外，它们还提供了一种有希望的方法来增强视力变压器对对抗攻击的鲁棒性。索引术语 - 代表脆弱性，对抗性攻击，视觉变压器，可靠的嵌入
使用局部拓扑特征增强图表学习
在图表上的表示是一个基本问题，在各种任务中可能至关重要。图形神经网络是图表学习的主要方法，其表示能力有限。因此，将高阶拓扑和几何信息明确提取并纳入这些模型可能是有益的。在本文中，我们提出了一种原则性的方法，以根据持续同源性理论提取图形的丰富连通性信息。我们的方法利用拓扑特征来增强图形神经网络的表示学习，并在各种节点分类和链接预测基准上实现最先进的性能。我们还探索了拓扑特征的端到端学习的选择，即将拓扑计算视为学习过程中可区分的操作员。我们的理论分析和实证研究为在图形学习任务中采用拓扑特征提供了见解和潜在指南。关键字：持续的同源性，拓扑数据分析，图形神经网络，图表学习，图形同构
![正交表示用于估计因果量的学习
生成的AI和创造性工作：叙事，价值观和影响
triffid：提高第一响应者效率的自动机器人辅助
微守流：边缘设备的复杂性自我注意力低的视觉变压器
covid- ... 之间的不可思议和争议性溢出
arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日
对表示漏洞和工程强大的视觉变形金刚的机械理解
arxiv：2502.05610v1 [CS.CL] 2025年2月8日
Goproteingnn：利用蛋白质知识图蛋白表示学习
台式4Merge：综合基准，用于合并逼真的密集交通与微交互式车辆
arxiv：2502.08704v1 [cond-mat.supr-con] 2025年2月12日
机器人引发的久坐行为的社会控制
增强数字阴影的稳健性，用于使用增强岩石物理建模的二氧化碳存储监控
arxiv：2502.07964v1 [cs.lg] 2025年2月11日
对石墨烯中振荡大声电效应的相干检测
arxiv：2502.09316v1 [CS.CL] 2025年2月13日
将基于物理的建模与锂离子电池的机器学习相结合
Trellis BMA：DNA存储的IDS通道上的编码跟踪重建
arxiv：2502.07650v1 [stat.ml] 2025年2月11日
与Soc- ... 的多间隔能量储备合作](/simg/3/371e53cea55d57b21dc3cec4490fd2d843578c28.webp)
正交表示用于估计因果量的学习 生成的AI和创造性工作：叙事，价值观和影响 triffid：提高第一响应者效率的自动机器人辅助 微守流：边缘设备的复杂性自我注意力低的视觉变压器 covid- ... 之间的不可思议和争议性溢出 arxiv：2502.10437v1 [q-bio.pe] 2025年2月9日 对表示漏洞和工程强大的视觉变形金刚的机械理解 arxiv：2502.05610v1 [CS.CL] 2025年2月8日 Goproteingnn：利用蛋白质知识图蛋白表示学习 台式4Merge：综合基准，用于合并逼真的密集交通与微交互式车辆 arxiv：2502.08704v1 [cond-mat.supr-con] 2025年2月12日 机器人引发的久坐行为的社会控制 增强数字阴影的稳健性，用于使用增强岩石物理建模的二氧化碳存储监控 arxiv：2502.07964v1 [cs.lg] 2025年2月11日 对石墨烯中振荡大声电效应的相干检测 arxiv：2502.09316v1 [CS.CL] 2025年2月13日 将基于物理的建模与锂离子电池的机器学习相结合 Trellis BMA：DNA存储的IDS通道上的编码跟踪重建 arxiv：2502.07650v1 [stat.ml] 2025年2月11日 与Soc- ... 的多间隔能量储备合作
表示学习被广泛用于观察数据的因果量（例如，有条件的平均治疗效应）。尽管现有的表示学习方法具有允许端到端学习的好处，但他们没有Neyman-Ottrol-ottrodenal学习者的理论特性，例如Double Ro-Busberness和Quasi-Oracle效率。此外，这种表示的学习方法通常采用诸如平衡之类的规范约束，甚至可能导致估计不一致。在本文中，我们提出了一类新型的Neyman-Ottrodonal学习者，以在代表水平上定义的因果数量，我们称之为或称为校友。我们的旅行者具有几个实际的优势：它们允许基于任何学习的表示形式对因果量进行一致的估计，同时提供了有利的理论属性，包括双重鲁棒性和准门的效率。在多个实验中，我们表明，在某些规律性条件下，我们的或学习者改善了现有的表示学习方法并实现最先进的绩效。据我们所知，我们的或学习者是第一批提供代表学习方法的统一框架，而Neyman-ottrol-ottrodenal学习者进行因果量估计。
![arxiv：2502.05610v1 [CS.CL] 2025年2月8日](/simg/f/fc3702b26977d5a4ff0e791f19ff9d50ec23897f.webp)
arxiv：2502.05610v1 [CS.CL] 2025年2月8日
蛋白质在生物过程中起着至关重要的作用，并且是活生物体的浓汤。蛋白质的准确表示至关重要，尤其是在药物开发中。最近，利用机器学习和深度学习技术的兴趣显着提高，用于无监督的蛋白质反应。然而，这些方法通常仅关注蛋白质的氨基酸序列，缺乏有关蛋白质及其相互作用的事实知识，从而限制了它们的性能。在这项研究中，我们提出了Goproteingnn，这是一种新型的结构，通过在氨基酸水平代表创建过程中整合蛋白质知识图信息来吸引蛋白质语言模型。我们的方法允许在单个氨基酸水平和整个蛋白质水平上整合信息，从而通过基于图的学习实现了全面有效的学习过程。这样做，我们可以捕获蛋白质及其功能注释之间的复杂关系和依赖性，从而产生更健壮和上下文富集的蛋白质表示。与以前的方法不同，Goproteingnn在训练过程中独特地学习了整个蛋白质知识图，这使其能够捕获更广泛的关系细微差别和依赖于以前的工作中的单元超出三胞胎。我们对几个下游任务进行了全面的评估，表明goproteingnn始终优于先前的方法，展示其有效性并确定其作为蛋白质表示学习的状态解决方案。