XiaoMi-AI文件搜索系统
World File Search System蒸馏
在批处理蒸馏模拟中增强现实主义
摘要。在化学过程工程中，模拟数据的准确性和现实主义对于有效设计和优化广泛的过程至关重要。在本文中，我们演示了神经风格转移方法的功效，以增强模拟产生的时间序列数据的现实性。具体来说，这种机器学习技术使我们能够学习从现实世界化学植物获得的非并行实验数据的样式特征，然后使用它们将模拟数据转换为更紧密地反映了模拟模型未捕获的现实行为和变化。我们提出了一个基于变压器的体系结构，其潜在表示可以纠缠于内容和样式信息。训练后，基础生成模型允许快速和数据有效的风格化生成，而无需每个样本的基于梯度的优化进行许多迭代，就像其他时间序列样式传输基线一样。我们在合成数据和批处理蒸馏的应用中显示了方法的效率。
将视觉脑表示从脑电图中通过知识蒸馏和潜在扩散模型
从人脑活动中解码的视觉表示已成为繁荣的研究领域，尤其是在大脑计算机界面的背景下。我们的研究提出了一种创新的方法，该方法采用知识蒸馏来培训EEG分类器并从ImageNet和Thicke-eeg 2数据集中重建图像，仅使用脑电图（EEG）数据集（EEG）数据，这些数据是来自参与者的数据，这些数据本身就查看了图像（即''大脑解码'）。我们分析了来自6位参与者的eeg录音，用于Imagenet数据集，为Things-EEG 2数据集进行了10个录音，这些数据集暴露于跨越独特语义类别的图像。这些脑电图读数被转换为频谱图，然后将其用于训练卷积神经网络（CNN），该卷积神经网络（CNN）与知识蒸馏程序集成了基于预先训练的对比语言图像 - 训练前训练（CLIP）基于基于图像的图像分类教师网络。这种策略使我们的模型可以达到87％的前5个精度，显着优于标准CNN和各种基于RNN的基准测试。此外，我们根据预训练的潜扩散模型合并了图像重建机制，这使我们能够生成引起脑电图活性的图像的估计。因此，我们的体系结构不仅解码了神经活动中的图像，而且还提供了仅从脑电图中重建的可信图像重建，为例如迅速，个性化的反馈实验铺平了道路。
适应不忘记的适应：视觉模型中的双重教师的蒸馏
摘要。多模式模型（例如剪辑）具有显着的零拍传输功能，使其在不断学习任务方面非常有效。然而，这种优势因灾难性遗忘而严重损害了这一优势，这破坏了这些模型的宝贵零击学习。现有方法主要集中于保存零拍的功能，但在完全利用多模式模型中固有的丰富模态信息方面通常不足。在本文中，我们提出了一种策略，以增强零射击转移能力和对新数据分布的适应性。我们引入了一种新型的基于图的多模式接近蒸馏方法，该方法保留了视觉和文本方式的内部和模式间信息。通过样本重新加权机制进一步增强了这种方法，并动态调整教师对每个样本的影响。实验结果证明了对现有方法的有很大改善，这说明了所提出的方法在持续学习领域的有效性。代码可在github.com/myz--ah/awoforget上找到。
知识蒸馏以进行电子商务有效有效的相关性搜索
摘要确保用户查询和产品之间的文本相关性对于电子商务搜索引擎至关重要，以增强用户体验并促进寻找所需的产品。由于深度学习模型在语义理解中的功能，它们已成为相关匹配任务的主要选择。在实时电子商务方案中，由于其效率而通常使用基于表示的模型。另一方面，基于互动的模型虽然提供了更好的有效性，但通常既耗时又挑战在线部署。大语言模型（LLM）的出现标志着相关性搜索的显着进步，在应用于电子商务领域时呈现价值和复杂性。为了应对这些挑战，我们提出了一个新颖的框架，将基于高效相互作用的LLM提炼成基于低潜伏期的体系结构（即学生模型）。为了进一步提高LLM的有效性，我们建议使用柔软的人类标签和项目属性。我们的学生模型经过培训，以模仿相关文档与从LLM输出的不太相关产品之间的余量。实验结果表明，我们的模型可以改善相关性和参与度指标。与生产系统相比，我们的模型将NDCG@5提高了1.30％，单击的会话数量增加了0.214％。
副细胞动物的蒸馏膜衍生的外膜...
目的：鉴于细菌外膜囊泡（OMV）的有效免疫刺激作用以及副胶束滴虫剂（PD）的显着抗癌特性（PD），该研究旨在阐明PD衍生的OMVS（PD -OMVS）（PD -OMVS）（PD -OMVS）对抗结肠癌的作用和潜在机制。方法：这项研究将PD培养物隔离和纯化的PD -OMV并评估了它们的特征。在体外研究了PD -OMV对CT26细胞摄取，增殖和侵袭的影响。在体内，使用CT26结肠肿瘤模型来研究PD -OMV的抗颜色肿瘤效应和潜在的机制。最后，我们评估了PD -OMV的生物安全。结果：纯化的PD -OMV具有均匀的杯形结构，平均大小为165.5 nm，ZETA电位约为-9.56 mV，其蛋白质与与免疫和凋亡有关的途径有关。体外实验表明，CT26细胞将PD -OMV内化，从而显着降低其增殖和侵袭能力。进一步的体内研究证实了肿瘤组织中PD -OMV的积累，这显着抑制了结肠肿瘤的生长。从机械上讲，Pd -OMVS增加了CXCL10的表达，促进CD8 + T细胞浸润到肿瘤组织中，并表达促炎性因子TNF-α，IL-1β和IL-6。值得注意的是，PD -OMVS表现出高水平的生物安全。这表明PD -OMV可以作为一种新型的纳米级有效免疫刺激剂开发，具有在肿瘤免疫疗法中施用的巨大潜力。结论：本文阐明了PD -OMV可以通过上调趋化因子CXCL10的表达来发挥明显的抗细性肿瘤作用，从而将CD8 + T细胞的浸润增加到肿瘤中并增强抗肿瘤免疫反应。以及开发为一种新型的纳米递送载体，以与其他抗肿瘤药物结合使用。关键字：副细胞曲盘，外膜囊泡，结肠肿瘤，CXCL10，CD8 + T细胞
和电热膜蒸馏
摘要 - 有效而准确的3D对象形状重新构造显着贡献了机器人与环境的物理相互作用的成功。获取有关未知物体的准确形状信息具有挑战性，尤其是在非结构化环境中，例如视觉传感器可能只能提供部分视图。为了解决此问题，可以使用触觉传感器来提取本地表面信息，以进行更健壮的未知对象形状估计。在本文中，我们提出了一种新颖的方法，用于使用配备有触觉传感器的多指手工探索和重建的有效未知的3D对象探索和重建方法，并且仅提供部分视图。我们提出了一种多手指滑动触摸策略，以使用贝叶斯优化方法和单个领导者多手指的局部表面感知来有效地探索形状探索。我们通过基于仿真和实际机器人实验估算来自YCB和OCRTOC数据集的对象的3D形状来评估我们提出的方法。所提出的方法得出成功的重建结果，仅取决于几个连续的滑动触摸。实验结果表明，我们的方法能够以有效而准确的方式对未知对象进行建模。
自动注释中的知识蒸馏：具有LLM生成培训标签的监督文本分类
计算社会科学（CSS）的实践通常依靠人标记的数据来调查监督的文本分类器。我们评估了研究人员使用来自生成大语言模型（LLM）的替代培训标签增强或替换人类生成的培训数据的潜力。我们介绍了推荐的工作流程，并通过复制14个分类任务和测量性能来测试此LLM应用程序。我们采用了来自高影响力期间CSS文章的新型英语文本分类数据集。由于这些数据集存储在受密码保护的档案中，因此我们的分析不太容易受到污染问题。对于每项任务，我们将使用GPT-4标签的监督分类器进行了比较，并用人类注释进行了微调的分类器，并与GPT-4和Mismtral-7b的标签进行了微调，并以较少的镜头在上下文中学习。我们的发现表明，在LLM生成的标签上微调的监督分类模型与通过人类注释者的标签进行了微调的模型相当。使用LLM生成标签的微调模型可以是构建监督文本分类器的快速，高效且具有成本效益的方法。
RFS 计划下 InSitu DS 蒸馏器玉米油转化为可再生柴油和取暖油燃料途径的决定 - 决定函（2024 年 4 月 26 日）
美国环保署此前在 2010 年 3 月 26 日发布的最终规则 (75 FR 14670)（“2010 年 3 月 RFS 规则”）中对玉米酒糟油进行了评估，并在 2020 年 2 月 6 日发布的最终规则 (85 FR 7058)（“2020 年 2 月 RFS 规则”）中更详细地模拟了使用玉米酒糟油作为生物燃料原料所产生的排放。根据 InSitu 提交的数据和 2020 年 2 月 RFS 规则中制定的玉米酒糟油评估方法，美国环保署进行了生命周期评估，估计通过 InSitu Rochelle 途径生产的可再生柴油和取暖油与法定柴油基准相比，可将生命周期温室气体 (GHG) 排放量减少 75%。根据我们的生命周期温室气体评估结果，通过 InSitu Rochelle 途径生产的可再生柴油和取暖油符合生物质基柴油 (D 代码 4) RIN 的条件，前提是满足所有适用的法定和监管条件。此外，本判定文件第 IV 节规定了 InSitu Rochelle 途径特有的其他条件，必须满足这些条件，InSitu 才能通过这些途径生成 D 代码 4 RIN。
基于知识蒸馏的机器人 - 对象操纵失效预期
摘要 - 自主服务机器人应能够安全地与环境进行交互。但是，由于几个因素，包括感知错误，操纵失败或意外的外部事件，执行结果并不总是预期的。虽然大多数目前的研究强调检测和分类机器人失败，但我们的研究将其重点转移到了这些失败发生之前的重点。潜在的想法是，通过预测早期的潜在失败，可以采取预防措施。为了解决这个问题，我们提出了一个基于知识蒸馏的新型失败预期框架。该系统利用视频变压器，并结合了一种传感器融合网络，旨在处理RGB，深度和光流数据。我们评估方法对失败的有效性，现实世界机器人操纵数据集。实验结果表明，我们提出的框架的F1得分为82.12％，突出了其预测机器人执行失败的能力，最高可提前一秒钟。