XiaoMi-AI文件搜索系统
World File Search System零拍
TD-Zero：使用零拍学习
摘要 - 供应链漏洞为攻击者提供了将硬件木马植入系统 - 芯片（SOC）设计的机会。虽然基于机器学习（ML）的特洛伊木马检测是有希望的，但它具有三个实际局限性：（i）可能无法获得黄金模型，（ii）缺乏人类专业知识来选择Trojan特征，并且（iii）有限的可传递性可能会导致在新的基准标准中无法获得未观察的Trojans的新基准标准。虽然基于转移学习的最新方法解决了其中一些问题，但仍需要重新训练以使用特定于域特异性（例如，硬件特洛伊木马功能）知识对模型进行微调。在本文中，我们提出了一个利用零射击学习来应对上述挑战的特洛伊木马检测框架。所提出的框架采用了自我监督学习的概念，其中利用预训练的图形卷积网络（GCN）来提取有关硬件Trojans的下划线常识，而指标学习任务用于衡量测试输入和恶意样本之间的相似性来进行分类。广泛的实验评估表明，与最先进的技术相比，我们的方法具有四个主要优势：（i）在特洛伊木马检测过程中不需要任何黄金模型，（ii）可以处理未知的特洛伊木马和未见的基准测试，而不会更改网络的任何变化，（iii）培训时间和（iv）的估计效率的显着提高（iv）的均值提高效率显着（iv）的均值（10.5％）（10.5％）5％（10.5％）。5％（10.5％）。
零拍的幻觉拓扑记忆
在视觉计划（VP）中，代理商学会了从观察到的动态系统中的目标指导行为，例如，从自我监督的机器人交互中获得的图像。大多数先前关于VP的作品通过在学习的潜在空间中进行计划，低质量的视觉计划和难以训练的培训算法来接近概率。在这里，我们提出了一种直接在图像空间中计划并显示竞争性能的简单VP方法。我们建立在半参数拓扑内存（SPTM）方法上：图像样本被视为图中的节点，从图像序列数据中学到了图形连接，并且可以使用常规的图形搜索方法来执行计划。我们在SPTM上提出了两次修改。首先，我们使用接受稳定训练的对比预测编码训练基于能量的图形连接函数。第二，为了允许在新域中进行零射击计划，我们学习了一个有条件的VAE模型，该模型在给定描述域的上下文中生成图像，并使用这些幻觉样本来构建连接图和计划。我们表明，这种简单的方法在使用计划指导轨迹以下控制器的计划时，就计划的可解释性和成功率而言，这种简单的方法既优于SOTA VP方法。有趣的是，我们的方法可以拾取诸如其几何形状之类的非平凡的视觉属性，并在计划中说明它。
冷冻语言模型有助于ECG零拍学习
心电图（ECG）是最常用的非侵入性，方便的医学监测工具之一，可帮助心脏病的临床诊断。最近，深度学习（DL）技术，尤其是自我监督的学习（SSL），已经在ECG的分类中发挥了巨大的潜力。SSL预训练在微调后仅通过少量注释的数据实现了效率性能。但是，当前的SSL方法依赖于注释数据的可用性，并且无法预测微调数据集中不存在的标签。为了应对这一挑战，我们提出了最终的ECG-T Ext s Ext s-Elf Sup-pre-Pre-Training（METS），这是使用自动生成的临床报告的第一项工作，以指导ECG SSL Pre-Training。我们使用可训练的心电图编码器和冷冻语言模型来分别嵌入配对的ECG并自动机器生成的临床报告。SSL旨在最大化配对的ECG和自动生成报告之间的相似性，同时最大程度地减少ECG和其他报告之间的相似性。在下游分类任务中，METS与依赖于注释数据的其他监督和SSL基线相比，在不使用零摄像机分类的情况下使用任何带注释的数据，就可以提高10％的性能。此外，尽管MIT-BIH与预先训练的数据集相比，METS在MIT-BIH数据集上达到了最高的回忆和F1分数。广泛的实验证明了在可推广性，有效性和效率方面使用ECG-TEXT多模式自学学习的优势。关键字：多模式的自我监督学习，零照片学习，语言模型，ECG，信号处理
用视觉语言模型的零拍视频检索
诸如大语言模型（LLM）和视觉语言模型（VLM）之类的基础模型已显示出在许多域中的特定于任务特定模型，几乎没有进行微调。这种新的人工智能范式激发了我们将预训练的VLM应用于文本到视频检索。尽管这些模型无法直接处理视频，但我们研究了一个简单的解决方法：提示VLM提供视频帧的详细描述，以生成可用于语义文本搜索的文本文档。我们表明，这种简单的方法为使用MSR-VTT基准测试提供了零拍视频检索的竞争基线，这表明将基础模型应用于视频检索的任务。我们提供了广泛的消融，以了解系统的哪些部分对于性能很重要，并突出了许多将VLMS应用于视频检索的途径。
黑盒后门防御通过零拍图像净化
后门攻击将中毒的样本注入训练数据，从而导致模型部署期间中毒输入的分类错误。防御此类攻击是具有挑战性的，尤其是对于仅允许查询访问的现实世界黑框模型。在本文中，我们通过零照片图像纯化（ZIP）提出了一个针对后门攻击的新型防御框架。我们的框架可以应用于中毒的模型，而无需有关模型或任何清洁/有毒样品的任何先验知识的内部信息。我们的防御框架涉及两个步骤。首先，我们在中毒图像上应用线性转换（例如模糊）以破坏后门图案。然后，我们使用预训练的扩散模型来恢复转换删除的缺失语义信息。特别是，我们通过使用转换后的图像来指导高保真纯化的图像的生成，该图像在零拍设置中起作用。我们在具有不同类型的攻击的多个数据集上评估了我们的ZIP框架。实验结果表明，与最新的后门防御基线相比，我们的拉链框架的优势。我们认为，我们的结果将为黑盒模型的未来防御方法提供宝贵的见解。我们的代码可在https://github.com/sycny/zip上找到。
视觉增强的动态语义原型，用于生成零拍学习
生成的零拍学习（ZSL）学习了一个生成器来合成看不见类的视觉样本，这是推进ZSL的有效方法。然而，现有的发电方法依赖于高斯噪声和预定义的语义原型的条件，这限制了仅在特定的看到类中优化的发电机，而不是对每个视觉实例进行特征，从而导致概括不良（例如，过度适用于可见的类）。为了解决这个问题，我们提出了一种新颖的视觉启动动态语义原型方法（称为VADS），以增强发电机来学习准确的语义 - 视觉映射，以充分利用视觉效果的知识为语义条件。详细说明，VADS由两个模块组成：（1）视觉吸引域知识学习模块（VDKL）了解视觉特征的偏见和全局先验（称为域的视觉知识），这些偏见取代了纯净的高斯噪声，以提供更丰富的先验噪声信息； （2）以视觉为导向的语义更新模块（VOSU）根据样本的视觉表示更新语义原型。最终，我们将它们的输出作为动态语义原型串联，作为发电机的条件。广泛的实验表明，我们的VAD在三个突出的数据集上实现了上升的CZSL和GZSL prounperces，并且在Sun，Cub和Awa2上分别胜过其他最先进的方法，其平均分别增加了6.4％，5.9％，5.9％和4.2％。
数据分布蒸馏的生成模型，用于广义零拍识别
在零射门学习（ZSL）领域，我们在广义零局学习（GZSL）模型中介绍了偏爱数据的模型。为了解决这个问题，我们引入了一个名为D 3 GZSL的端到端生成GZSL框架。对于更平衡的模型，该框架尊重所见和合成的未见数据分别为分布和分布数据。d 3 GZSL包括两个核心模块：分配双空间蒸馏（ID 2 SD）和分布外批处理蒸馏（O 2 DBD）。ID 2 SD在嵌入和标签空间中的教师学生成果对齐，从而增强了学习连贯性。o 2 dbd在每个批次样本中引入了低维度的低分布表示形式，从而捕获了可见类别和未看到类别之间的共享结构。我们的方法证明了其在既定的GZSL基准测试中的有效性，无缝地集成到主流生成框架中。广泛的例子始终展示D 3 GZSL提高了现有生成GZSL方法的性能，从而低估了其重新零摄入学习实践的潜力。该代码可在以下方面获得：https：//github.com/pjbq/pjbq/d3gzsl.git.git
DNA语言模型是全基因组变体效应的强大零拍预测指标
全基因组关联研究的扩展目录（GWAS）提供了各种物种的生物学知识，但是识别这些关联背后的因果变异仍然是一个重大挑战。实验验证既是劳动密集型又昂贵的验证，强调了需要准确，可扩展的计算方法来预测整个基因组遗传变异的影响。受到自然语言处理的最新进展的启发，对广泛的蛋白质序列数据库的无监督预训练已被证明是成功地提取与蛋白质有关的复杂信息的成功。这些模型展示了他们使用零拍方法在编码区域学习变异效应的能力。扩展了这一想法，我们在这里介绍了G Innomic P重新训练的N ETWORK（GPN），该模型旨在通过对基因组DNA的无监督预训练来学习全基因组变体效应。我们的模型还成功地学习了基因结构和DNA基序，而无需进行任何关注。为了证明其效用，我们在阿拉巴里亚山脉的不规则参考基因组中训练GPN，在铜管阶内进行了七个相关物种，并测试了其通过利用1001 Genomes genomes Project and Gensensed Datebase和G.Wasbase的拟南芥中遗传变异的功能影响的能力。没有，GPN的表现优于基于流行的保护评分，例如门类和PHASTCON。我们对拟南芥的预测可以可视化为UCSC基因组浏览器（https://genome.ucsc.edu/s/gbenegas/gbenegas/gpn-arabidopsis）中的序列徽标。我们提供代码（https://github.com/songlab-cal/gpn），以训练GPN的任何给定物种，仅使用其DNA序列，从而实现了整个基因组变异效应的零摄影预测。
利用零拍的视觉和语言模型，家庭多对象重排任务的个性化
旨在开发一种可推广的计划方法，以进行偏爱的多对象重排。对个性化家庭对象重排的事先研究收集了模拟或人类演示的特定任务数据集，并试图匹配此数据集中存在的偏好[1，15，16，23]。然而，策划大量的人类示范数据集具有多种偏好是具有挑战性的。可能的偏好空间有效地无限。的偏好是高度的，并且取决于个人的身心质量。因此，收集代表所有用户偏见的数据集都是具有挑战性的。此外，这些偏好可能是复杂且抽象的。例如，某人首选的桌面设置可能基于可访问性，视觉美学或文化和传统规则。因此，以可推广的方式学习或建模这些偏好是不平凡的。最后，偏好通常被指定。通常会发出诸如“帮助我设置晚餐餐桌”之类的命令，但并不表明一个人喜欢为除了应该用硅胶设置的孩子以外的所有人使用陶瓷菜肴。以可操作性的方式详尽而明确地交流此类偏爱可能是乏味的，需要很难生产的精确语言。最近进入视觉和语言基础模型（VLM）为所有这三个问题提供了解决方案。我们在单步表设置任务上介绍了此方法的初始结果，并找到了我们方法的概念概念。我们希望开发一种可推广的个性化家庭重排的方法，即1）样品复杂性低2）能够建模有关对象重新安排的抽象和复杂偏好，3）即使根据指定的说明，也可以制定这些任务计划。大型语言模型（LLM）和在互联网量表数据上预处理的VLM已被证明可以有效解决无明确培训的无数任务。具体来说，将LLM与文本学习[3]相结合[3]在制定任务计划方面取得了长足的进步，这些任务计划可以在几次拍摄中根据易于指定的人类偏好[32]解决一般的多对象重排任务并根据这些任务解决这些任务。我们提出了一种初始方法，该方法利用了Internet规模验证的VLM中的这些最新进步，以根据个人喜好解决多对象重排任务，即使这些偏好尚未完全指定。
通过大语言模型探索零拍的跨语性生物医学概念归一化
摘要。在过去的几年中，歧视性和生成性的大语言模型（LLM）已成为自然语言处理的主要方法。，尽管取得了重大进步，但在比较跨语性生物医学概念归一化中判别和生成性LLM的性能仍然存在差距。在本文中，我们对几个LLM进行了比较研究，涉及跨语言生物医学概念通过致密检索的具有挑战性的任务。我们利用涵盖10种语言的XL-BEL数据集来评估模型在不进一步适应的情况下在各种语言环境中概括的能力。实验发现表明，E5是一种判别模型，表现出卓越的性能，而生物分类出现为表现最佳的生成LLM。复制实验的代码可在以下网址提供：https：//github.com/hrouhizadeh/zsh_cl_bcn。