Florian Tramer、Gautam Kamath 和 Nicholas Carlini 凭借其作品《立场：具有大规模公共预训练的差异化隐私学习考量》获得了国际机器学习会议 (ICML2024) 最佳论文奖。在这次采访中，Gautam 总结了这篇论文的一些主要成就。首先，什么是差异隐私，研究人员如何以及为什么 […]
Projected Language Models: A Large Model Pre-Segmented Into Smaller Ones
这篇论文已被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。大型语言模型是一种多功能工具，但不适合小型推理预算。小型模型具有更高效的推理能力，但其容量较低，这意味着只有将其范围限制在专业领域时，其性能才会很好。这篇论文探讨了如何获得具有良好专业准确度的小型语言模型，即使在预训练期间专业化数据未知的情况下也是如此。我们提出了一种新颖的架构，即投影网络 (PN)。PN 是一种高容量网络，其参数……
Improving GFlowNets for Text-to-Image Diffusion Alignment
这篇论文被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。扩散模型已成为生成视觉数据的实际方法，这些模型经过训练以匹配训练数据集的分布。此外，我们还希望控制生成以满足所需的属性，例如与文本描述的对齐，这可以通过黑盒奖励函数来指定。先前的工作通过基于强化学习的算法对预训练的扩散模型进行了微调，以实现此目标。尽管如此，它们仍存在一些问题，包括信用分配缓慢……
视觉语言模型蓬勃发展。PaliGemma。Phi-3 Vision。Florence-2。LLaVA-NeXT。视频游戏中的 ML。潜在空间中的 PCA。MosaicML 代理框架。大规模 MoE。GraphRAG。低成本图像 SSL。
Helping nonexperts build advanced generative AI models
MosaicML 由麻省理工学院的一位校友和一位教授共同创立，它使深度学习模型更快、更高效。 Databricks 收购它扩大了这一使命。
On the Stepwise Nature of Self-Supervised Learning
图 1：自监督学习中的逐步行为。在训练常见的 SSL 算法时，我们发现损失以逐步方式下降（左上），而学习到的嵌入则以迭代方式增加维度（左下）。嵌入的直接可视化（右图；显示了前三个 PCA 方向）证实了嵌入最初会折叠到一个点，然后扩展到 1D 流形、2D 流形，并随着损失的步骤而扩展。人们普遍认为，深度学习的惊人成功部分归功于它能够发现和提取复杂数据的有用表示。自监督学习 (SSL) 已成为一种领先的框架，用于直接从未标记数据中学习图像的这些表示，类似于 LLM 直接从网络抓取的文本中学习语言的表示。然而，尽管 SSL 在 CLIP 和 MidJourney 等最先进的模型中发挥着关键作用，但诸
The virtuous cycle of AI research
我们最近采访了 DeepMind 的研究科学家 Petar Veličković。 Petar 与他的合著者一起在美国马里兰州巴尔的摩举行的 ICML 2022 上发表了他的论文《CLRS 算法推理基准》。
Setup & Configuring a Copley Motor Controller
我通常会尽可能尝试使用 Copley 电机控制器。这有几个原因，包括：可靠性 Linux 软件 API（收取少量费用），可以轻松包装以在 ROS Copley 中使用，如果您正在阅读本文，您应该免费向所有人提供 CML……适用于广泛 […]帖子设置和配置 Copley 电机控制器首先出现在 Robots For Roboticists 上。
В Перми разработан новый метаязык для программирования роботов
开放的机器人控制元语言（RCML）允许不同制造商的机器人相互协作，机器人的消费者将能够独立编写程序来控制机器人，而不再关注特定的技术“堆砌”来自特定制造商的机器和机器人技术的功能。 RCML 允许您从硬件中抽象出来，只关注机器人的功能。
