Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices
使用反向传播对大型语言模型 (LLM) 进行微调(即使对于 LoRA 等参数子集)可能比推理更消耗内存,并且对于资源受限的移动设备来说通常被认为是不切实际的。零阶优化 (ZO) 等替代方法可以大大减少内存占用,但代价是模型收敛速度显着减慢(比反向传播多 10 倍到 100 倍的步骤)。我们提出了一种在移动设备上实现反向传播 (MeBP) 的内存高效实现,它可以在内存使用和计算之间提供更好的权衡……
Iterative fine-tuning on Amazon Bedrock for strategic model improvement
组织在为其生成式 AI 模型实施单次微调方法时经常面临挑战。单次微调方法涉及选择训练数据、配置超参数并希望结果满足预期,但无法进行增量调整。单次微调经常会导致结果不理想,并且需要在改进 [...] 时从头开始整个过程
What It Really Takes to Fine-Tune a LLM Model for a Real-World Use Case
了解如何为现实世界的应用程序安全地微调 LLM 帖子“为真实世界用例微调 LLM 模型真正需要什么”一文首先出现在 Spritle 软件上。
How to choose the right standard gripper for your cobot projects
在机器人集成中,节省的每一个小时都意味着一个更有利可图的项目。然而,集成商面临的最大时间消耗之一是为每个新的机器人设置选择、定制和微调末端执行器。这就是为什么向标准化机器人夹具(特别是自适应、即插即用夹具)的转变正在改变集成商的工作方式。他们不是从头开始,而是构建更快、更可靠、更可扩展的自动化单元。
Adapting Self-Supervised Representations as a Latent Space for Efficient Generation
我们引入了 Representation Tokenizer (RepTok),这是一种生成建模框架,它使用从自监督视觉转换器获得的单个连续潜在标记来表示图像。在预先训练的 SSL 编码器的基础上,我们仅微调语义标记嵌入,并将其与使用标准流匹配目标联合训练的生成解码器配对。这种适应通过低级的、与重建相关的细节丰富了令牌,从而实现了忠实的图像重建。为了保留原始 SSL 空间的有利几何形状,我们添加了余弦相似度损失......
Scientists Have Discovered a Way to Boost Memory in Aging Brains
弗吉尼亚理工大学的科学家发现,与年龄相关的记忆丧失源于大脑中的分子变化。记忆衰退可能不仅仅是衰老的自然现象。弗吉尼亚理工大学的研究人员发现,它与大脑中特定的分子变化有关,微调这些过程实际上可以增强记忆功能。在两个 [...]
推理已成为大型语言模型 (LLM) 的核心范式,不断提高各种基准的准确性。然而,它是否适合精度敏感的任务仍不清楚。我们提出了第一个在严格的低误报率(FPR)制度下分类任务推理的系统研究。我们的分析涵盖两项任务——安全检测和幻觉检测——使用标准法学硕士和大型推理模型(LRM)在微调和零样本设置下进行评估。我们的结果揭示了一个明显的权衡:Think On(推理增强)生成改进......
RL for Reasoning by Adaptively Revealing Rationales
我们提出,来自部分专家演示的强化学习(RL)不仅仅是一种训练启发式方法,而且是解决复杂序列生成任务的一个有前景的框架。监督微调(SFT)依赖于密集的真实标签,随着序列长度的增长,其成本也越来越高。另一方面,强化学习则面临着稀疏奖励和组合大输出空间的问题。我们通过引入自适应回溯(AdaBack)来解决这个问题,这是一种按样本课程学习算法,在训练期间仅显示目标输出的部分前缀。该...
实体链接 (EL) 传统上依赖于大型注释数据集和广泛的模型微调。虽然最近的小样本方法通过提示来利用大型语言模型 (LLM) 来减少训练要求,但由于昂贵的基于 LLM 的推理,它们常常效率低下。 ARTER(自适应路由和目标实体推理)提出了一种结构化管道,通过策略性地结合候选生成、基于上下文的评分、自适应路由和选择性推理,无需深度微调即可实现高性能。 ARTER 计算一小组...
Effektiv Oyun Hərəkətləri Pinco Casino
Pinco Casino 受库拉索牌照 (8048/JAZ) 监管,由 Rabidi N.V. 所有,是一个由赌场管理的平台,自 2023 年以来一直在运营,PINCO CASINO 提供超过 5,000 种游戏的丰富游戏目录,包括 Evolution Gaming 的现场游戏。从初学者到经验丰富的玩家,每个人都可以利用赔率来增加获胜的机会。赔率、微调游戏策略以及……继续阅读“有效的游戏举措 Pinco 赌场”
Training Software Engineering Agents and Verifiers with SWE-Gym
我们推出了 SWE-Gym,这是第一个用于培训现实世界软件工程 (SWE) 代理的环境。 SWE-Gym 包含 2,438 个真实的 Python 任务实例,每个实例都包含一个具有可执行运行时环境、单元测试和以自然语言指定的任务的代码库。我们使用 SWE-Gym 来训练基于语言模型的 SWE 代理,在流行的 SWE-Bench Verified 和 Lite 测试集上实现了高达 19% 的解决率绝对增益。我们还通过在 SWE-Gym 采样的代理轨迹上训练的验证器来实验推理时间缩放。与我们经过微调的 SWE 结合使用...
IEEE Transactions on Emerging Topics in Computational Intelligence Volume 9, Issue 5, October 2025
1) 激励联合学习:调查作者:Akarsh K Nair、Sinem Coleri、Jayakrushna Sahoo、Linga Reddy Cenkeramaddi、Ebin Deni Raj 页数:3190 - 32092) 用于神经形态计算的可重构数字 FPGA 实现:关于最新进展和未来方向的调查作者: Edris Zaman Farsa, Arash Ahmadi, Oliver Keszocze 页数:3210 - 32323) 基于金属氧化物人工突触设备的机器学习模型的设计和优化作者:Yildiran Yilmaz, Fatih Gul 页数:3233 - 32434) 不完整数
Pilot shows promise and challenge of using simulations to prepare students for social work practice
一项新的研究表明,在大城市地区行为和心理健康服务提供者短缺的情况下,使用 VR 模拟和演员来培训下一代社会工作者显示出了希望,但这种方法对于教师来说可能很耗时、成本高昂,并且需要微调。