DiceHuBERT: Distilling HuBERT with a Self-Supervised Learning Objective
我们介绍了Dicehubert，这是一种用于压缩Hubert的知识蒸馏框架，Hubert是一种广泛使用的自我监督学习（SSL）的语音基础模型。与依赖于层次和学生模型之间的特征映射的现有蒸馏方法不同，Dicehubert通过直接用学生模型直接替换原始模型来利用Hubert的迭代自我鉴定机制。这种替代品允许使用与培训前使用相同的SSL目标对学生进行培训，从而消除了对其他模块或建筑约束的需求……
Adaptive Knowledge Distillation for Device-Directed Speech Detection
设备指导的语音检测（DDSD）是一项二进制分类任务，将用户的查询与语音助手（VA）与背景语音或侧面对话分开。这对于实现自然主义用户体验很重要。为此，我们提出知识蒸馏（KD），以提高DDSD准确性，同时确保有效部署。具体而言，我们引入了一种新型的自适应KD方法，该方法从ASR大型预训练的声学编码器（教师）的一般表示转移知识。我们将特定于任务的适配器应用在（冷冻）教师编码器之上，培训…
我们提出了一项蒸馏缩放法，该法律根据计算预算及其在学生和教师之间的分配来估算蒸馏模型性能。我们的发现通过为教师和学生启用计算最佳分配，以最大程度地提高学生表现，从而减轻与大规模蒸馏有关的风险。我们为两个关键情况提供了最佳的蒸馏食谱：当老师已经存在以及老师需要培训时。在涉及许多学生或现有教师的设置中，蒸馏的表现优于监督到计算水平的学习……
Approach Could Slash Energy Required for Crude Oil Distillation
安妮·特拉夫顿（Anne Trafton），麻省理工学院（MIT
Amazon Bedrock Model Distillation: Boost function calling accuracy while reducing cost and latency
在这篇文章中，我们强调了使用Meta的Llama模型家族中亚马逊基石模型蒸馏的高级数据增强技术和性能改进。该技术将知识从更大，功能强大的基础模型（FMS）转移到较小，更高效的模型（学生），创建在特定任务方面表现出色的专业模型。
How to Benchmark DeepSeek-R1 Distilled Models on GPQA Using Ollama and OpenAI’s simple-evals
在DeepSeek-R1的蒸馏型模型上设置并运行GPQA-DIAMOND基准，以评估其推理能力。该帖子如何使用Ollama和OpenAI的Simple-Evals在GPQA上对GPQA进行基准deepSeek-R1蒸馏型，这首先出现在数据科学方面。
Overcome Failing Document Ingestion & RAG Strategies with Agentic Knowledge Distillation
引入金字塔搜索方法邮政克服了未能通过代理知识蒸馏的文档摄入和抹布策略，首先出现在数据科学上。
Customize DeepSeek-R1 distilled models using Amazon SageMaker HyperPod recipes – Part 1
在这个两部分的系列中，我们讨论了如何通过使用deepSeek-R1模型及其蒸馏变量的预先构建的微调工作流（也称为“食谱”）来减少DeepSeek模型的自定义复杂性，并作为亚马逊SageMaker HyproPod食谱的一部分发布。 In this first post, we will build a solution architecture for fine-tuning DeepSeek-R1 distilled models and demonstrate the approach by providing a step-by-step example on customizing t
Wearable Accelerometer Foundation Models for Health via Knowledge Distillation
现代可穿戴设备可以方便地在日常生活的许多不同环境中记录各种生物信号，从而可以对个人健康有丰富的看法。但是，并非所有的生物信号都相同：高保真生物信号（例如Photoplethymbogram图（PPG））包含更多的生理信息，但需要具有高功率足迹的光传感器。另外，诸如加速度计之类的低保真生物信号具有明显较小的功率足迹，并且几乎在任何可穿戴设备中都可以使用。虽然加速度计广泛用于活动识别和健身，但它较少……
The Art of Distilling: How Mines alums brought their engineering skills to the world of whiskey
Kraig '10 和 Kameron Weaver '12 与 Kraig 的妻子 Michelle 一起创立了 The Block，这是一家位于丹佛 RiNo 艺术区的酿酒厂，生产各种威士忌和烈酒。
Memory-Retaining Finetuning via Distillation
这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力进行持续的预训练，例如数学和编码，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识……
人工智能 (AI) 为许多领域带来了深刻的变化，其影响最为明显的一个领域就是图像生成。这项技术已经从生成简单的像素化图像发展到创建高度详细和逼真的视觉效果。对抗性扩散蒸馏 (ADD) 是最新和最令人兴奋的进步之一，它是一种将速度与质量相结合的技术 […] 速度与质量的结合：对抗性扩散蒸馏 (ADD) 如何彻底改变图像生成，这篇文章首先出现在 Unite.AI 上。
Dune-inspired 'stillsuit' would allow astronauts to drink recycled wee
做宇航员可能没有你想象的那么光鲜——这些勇敢的男男女女目前在太空行走时必须将尿液排入宇航服内的一种成人尿布中。似乎这还不够糟糕，他们可能很快就必须自己排尿，因为美国研究人员已经开发出一种尿液收集和回收系统，可以携带在下一代宇航服的背面。研究人员已经制作了一个可供测试的原型，他们的灵感来自《沙丘》书籍和电影中虚构的“蒸馏服”，它可以吸收汗水和尿液并将其回收成饮用水。新设计包括一个硅胶收集杯，它围绕生殖器，内衬有吸水材料。真空泵收集尿液并将其推过一个过滤器，该过滤器会提取水分，然后添加电解质并将其输送回宇航服内的饮料容器中。该团队表示，该系统可以在五分钟内收集和净化 500 毫升尿液，并可能在未来
Реальная Дюна: блогеры создали «дистилляционный костюм» фрименов
YouTube 频道 Hacksmith Industries 的一个新项目将汗水转化为饮用水，让您在炎热的沙漠中生存。
Report: NORAD Stops Civilian Aircraft Over Texas’ Kerr County
洪水蒸馏的山乡村地区的空域一直关闭到星期六。
科学家首次在逻辑Qubit中演示了一个称为“魔术状态蒸馏”的过程，这意味着我们现在可以构建比超级计算机既没有错误又功能更强大的量子计算机。
Cambridge Researchers Find Gut Bacteria Could Help Remove 'Forever Chemicals' From Body
剑桥研究人员发现肠道细菌可以帮助从乔治·索伦（George Citroner）通过时代（强调我们的强调）从身体中删除“永远的化学物质”，研究人员发现，九种肠道细菌可以帮助从永远的化学物质中解毒，从而快速吸收了与癌症和其他疾病相关的pfas。剑桥大学MRC毒理学部门的成员Kiran Patil的成员Kiran Patil在剑桥大学（University of Cambridge）告诉《时代时报》（The Epoch Times），剑桥大学研究发表在《自然微生物学》杂志上，可以吸收九点毒素的毒性和毒性pffluu，cambridge University the Cambridge Univers
Researchers offer hard-hit West Virginia communities solutions for flood recovery and resilience
在本月俄亥俄州和马里恩县受损的社区损坏的社区很久以前，西弗吉尼亚大学的研究人员正在研究该州洪水蒸馏的地区的社区韧性。他们开发的工具包将帮助社区更好地为此类紧急情况做准备并更快地恢复。
