What’s on the programme at #ICML2024?
今年的国际机器学习会议 (ICML) 将于 2024 年 7 月 21 日至 27 日在奥地利维也纳举行。除了六场受邀演讲外，会议计划还包括口头和海报展示、亲和力活动、教程和研讨会。受邀演讲 Soumith Chintala – 标题待定 Lucía Magis-Weinberg – 数字技术对青年的影响 […]
Projected Language Models: A Large Model Pre-Segmented Into Smaller Ones
这篇论文已被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。大型语言模型是一种多功能工具，但不适合小型推理预算。小型模型具有更高效的推理能力，但其容量较低，这意味着只有将其范围限制在专业领域时，其性能才会很好。这篇论文探讨了如何获得具有良好专业准确度的小型语言模型，即使在预训练期间专业化数据未知的情况下也是如此。我们提出了一种新颖的架构，即投影网络 (PN)。PN 是一种高容量网络，其参数……
Improving GFlowNets for Text-to-Image Diffusion Alignment
这篇论文被 ICML 2024 的 Foundation Models in the Wild 研讨会接受。扩散模型已成为生成视觉数据的实际方法，这些模型经过训练以匹配训练数据集的分布。此外，我们还希望控制生成以满足所需的属性，例如与文本描述的对齐，这可以通过黑盒奖励函数来指定。先前的工作通过基于强化学习的算法对预训练的扩散模型进行了微调，以实现此目标。尽管如此，它们仍存在一些问题，包括信用分配缓慢……
International Conference on Machine Learning (ICML) 2024
Apple 赞助了 2024 年国际机器学习会议 (ICML)，该会议将于 7 月 21 日至 27 日在奥地利维也纳的 Messe Wien 展览和会议中心举行。ICML 因展示和发表机器学习各个方面的前沿研究而闻名全球，这些研究用于密切相关的领域，如人工智能、统计学和数据科学，以及机器视觉、计算生物学、语音识别和机器人技术等重要应用领域。以下是我们在 ICML 2024 上赞助的研讨会和活动的时间表。
视觉语言模型蓬勃发展。PaliGemma。Phi-3 Vision。Florence-2。LLaVA-NeXT。视频游戏中的 ML。潜在空间中的 PCA。MosaicML 代理框架。大规模 MoE。GraphRAG。低成本图像 SSL。
Helping nonexperts build advanced generative AI models
MosaicML 由麻省理工学院的一位校友和一位教授共同创立，它使深度学习模型更快、更高效。 Databricks 收购它扩大了这一使命。
Google DeepMind’s latest research at ICML 2023
探索现实世界的 AI 安全性、适应性和效率
On the Stepwise Nature of Self-Supervised Learning
图 1：自监督学习中的逐步行为。在训练常见的 SSL 算法时，我们发现损失以逐步方式下降（左上），而学习到的嵌入则以迭代方式增加维度（左下）。嵌入的直接可视化（右图；显示了前三个 PCA 方向）证实了嵌入最初会折叠到一个点，然后扩展到 1D 流形、2D 流形，并随着损失的步骤而扩展。人们普遍认为，深度学习的惊人成功部分归功于它能够发现和提取复杂数据的有用表示。自监督学习 (SSL) 已成为一种领先的框架，用于直接从未标记数据中学习图像的这些表示，类似于 LLM 直接从网络抓取的文本中学习语言的表示。然而，尽管 SSL 在 CLIP 和 MidJourney 等最先进的模型中发挥着关键作用，但诸
The virtuous cycle of AI research
我们最近采访了 DeepMind 的研究科学家 Petar Veličković。 Petar 与他的合著者一起在美国马里兰州巴尔的摩举行的 ICML 2022 上发表了他的论文《CLRS 算法推理基准》。
DeepMind’s latest research at ICML 2022
从本周末开始，第三十九届国际机器学习会议 (ICML 2022) 将于 2022 年 7 月 17 日至 23 日在美国马里兰州巴尔的摩会议中心举行，并将作为混合活动举行。从事人工智能、数据科学、机器视觉、计算生物学、语音识别等领域的研究人员正在展示和发表他们在机器学习方面的前沿工作。
