Interview with Yuki Mitsufuji: Improving AI image generation
Yuki Mitsufuji 是索尼人工智能的首席研究科学家。Yuki 和他的团队在最近的神经信息处理系统会议 (NeurIPS 2024) 上发表了两篇论文。这些作品涉及图像生成的不同方面，标题为：GenWarp：具有语义保留生成扭曲的单幅图像到新视图和 PaGoDA：渐进式增长 […]
欢迎阅读我们的每月文摘，在这里您可以了解您可能错过的任何 AIhub 故事，阅读最新消息，回顾最近发生的事件等等。本月，我们回顾了我们参加 NeurIPS 的一周，了解了使用机器学习和地理空间数据定位非法采矿地点的工作，并了解了一个团队如何 […]
#NeurIPS social media round-up part 2
在温哥华举行的第三十八届神经信息处理系统会议 (NeurIPS 2024) 于周日结束。我们从会议的后半部分挑选了一些亮点。CMU 在 #NeurIPS2024 举办派对，并赠送定制幸运饼干。[图片或嵌入] — Yisong Yue (@yisongyue.bsky.social) 2024 年 12 月 13 日 09:11 🚀 很高兴介绍我们的 #NeurIPS2024 口头 […]
#NeurIPS2024 social media round-up part 1
与会者在会议中心欣赏壮观的景色。第三十八届神经信息处理系统会议 (NeurIPS 2024) 正在温哥华如火如荼地举行。了解参与者在活动开始几天都在做什么。开幕词目前正在进行中！#NeurIPS2024 [图片或嵌入] — NeurIPS […]
Congratulations to the #NeurIPS2024 award winners
第三十八届神经信息处理系统会议 (NeurIPS 2024) 正在温哥华举行。周二晚上的正式开幕式上，会议奖项揭晓。今年的奖项包括： 杰出主赛道论文 杰出主赛道亚军 杰出数据集和基准论文 经得起时间考验的奖项 获奖者如下： 杰出主赛道论文 […]
Momentum Approximation in Asynchronous Private Federated Learning
这篇论文被接受在与 NeurIPS 2024 联合举办的联邦基础模型国际研讨会 (FL@FM-NeurIPS'24) 上发表。异步协议已被证明可以提高具有大量客户端的联邦学习 (FL) 的可扩展性。同时，基于动量的方法可以在同步 FL 中实现最佳模型质量。然而，在异步 FL 算法中天真地应用动量会导致收敛速度变慢和模型性能下降。目前还不清楚如何有效地将这两种技术结合在一起以实现双赢……
Neural Information Processing Systems (NeurIPS) 2024
Apple 将在 12 月 10 日至 15 日在加拿大温哥华举行的神经信息处理系统 (NeurIPS) 年度会议上展示新研究成果。我们很荣幸再次赞助这个多轨跨学科会议，该会议将围绕机器学习聚集科学和工业研究社区。以下是 Apple 参加 NeurIPS 2024 的概述。
Apple Machine Learning Research at NeurIPS 2024
Apple 研究人员正在通过基础研究推动 ML 领域的发展，这些研究提高了世界对这项技术的理解，并有助于重新定义这项技术的可能性。这项工作可能会推动 Apple 产品和服务的进步，研究成果将通过出版物、开源资源以及参与行业和研究社区活动与更广泛的研究社区共享，其益处将超越 Apple 生态系统。下周，第 38 届神经信息处理系统 (NeurIPS) 年度会议将在加拿大温哥华举行……
Google DeepMind at NeurIPS 2024
推进自适应 AI 代理，赋能 3D 场景创建，创新 LLM 培训，打造更智能、更安全的未来
What’s coming up at #NeurIPS2024?
第三十八届神经信息处理系统会议 (NeurIPS 2024) 将于 12 月 10 日星期二至 12 月 15 日星期日在加拿大温哥华举行。会议安排了丰富的活动，包括受邀演讲、口头报告、海报、教程、研讨会和社交活动，更不用说 AIhub 的科学传播会议了。受邀演讲 有七场受邀演讲 […]
An introduction to science communication at #NeurIPS2024
我们很高兴地宣布，今年我们将在 NeurIPS 上为人工智能研究人员介绍科学交流。该活动将于 12 月 10 日星期二 14:00 举行。如果您将参加会议并想了解如何以不同的形式向普通观众传达您的研究成果，那么 […]
Memory-Retaining Finetuning via Distillation
这篇论文被 NeurIPS 2024 的“现代机器学习中的微调：原理和可扩展性 (FITML)”研讨会接受。在大量互联网文本上进行预训练的大型语言模型 (LLM) 拥有世界上的大量知识。在预训练之后，人们通常需要对某些能力进行持续的预训练，例如数学和编码，或“后训练”（又称对齐）技术，以使模型遵循用户的指示并使其与人类偏好保持一致。这些微调阶段的一个挑战是模型可能会丢失预训练知识……
Do LLMs Internally "Know" When They Follow Instructions?
本文被 NeurIPS 2024 的基础模型干预 (MINT) 研讨会接受。指令遵循对于构建具有大型语言模型 (LLM) 的 AI 代理至关重要，因为这些模型必须严格遵守用户提供的指南。然而，LLM 往往无法遵循哪怕是简单的指令。为了改善指令遵循行为并防止不良输出，我们需要更深入地了解 LLM 的内部状态与这些结果之间的关系。我们对 LLM 内部状态的分析揭示了输入嵌入空间中与成功相关的维度......
Do LLMs Estimate Uncertainty Well in Instruction-Following?
这篇论文被 NeurIPS 2024 的安全生成 AI 研讨会 (SGAIW) 接受。大型语言模型 (LLM) 可以成为各个领域的有价值的个人 AI 代理，前提是它们能够精确遵循用户指令。然而，最近的研究表明 LLM 的指令遵循能力存在很大局限性，这引发了人们对其在高风险应用中的可靠性的担忧。准确评估 LLM 在遵守指示方面的不确定性对于降低部署风险至关重要。据我们所知，我们首次系统地评估了不确定性……
Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications
这篇论文被 NeurIPS 2024 的机器学习和压缩研讨会接受。压缩大型语言模型 (LLM) 通常会导致性能下降，尤其是对于知识密集型任务。在这项工作中，我们深入研究了压缩如何破坏 LLM 的固有知识以及可能的补救措施。我们首先对损害的性质提出两种猜想：一是某些知识在 LLM 压缩后被遗忘（或抹去），因此需要压缩模型从具有附加参数的数据中（重新）学习；另一个假设知识是内部的……
Towards Low-Bit Communication for Tensor Parallel LLM Inference
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。张量并行提供了一种提高服务器大型语言模型 (LLM) 推理效率的有效方法，尽管增加了额外的通信成本。然而，随着服务器 LLM 规模不断扩大，它们将需要分布在更多设备上，从而增加了通信成本。解决这个问题的一种方法是量化，但目前的 LLM 方法往往避免量化张量并行需要传达的特征。利用……
Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models
这篇论文被 NeurIPS 2024 的高效自然语言和语音处理 (ENLSP) 研讨会接受。大型语言模型 (LLM) 通常使用固定的计算预算逐个生成输出，导致资源利用率低下。为了解决这一缺点，混合专家 (MoE) 模型、推测解码和早期退出策略方面的最新进展利用了计算需求可能根据输入的复杂性和性质而有很大差异的洞察力。然而，确定动态执行的最佳路由模式仍然是一个开放的问题……
Enhancing JEPAs with Spatial Conditioning: Robust and Efficient Representation Learning
这篇论文被 NeurIPS 2024 的自监督学习 - 理论与实践 (SSLTP) 研讨会接受。基于图像的联合嵌入预测架构 (IJEPA) 为使用蒙版图像建模框架进行表示学习提供了一种有吸引力的蒙版自动编码器 (MAE) 替代方案。IJEPA 通过在潜在空间而非输入空间中进行预测来驱动表示以捕获有用的语义信息。然而，IJEPA 依赖于精心设计的上下文和目标窗口来避免表示崩溃。IJEPA 中的编码器模块无法自适应地调节类型……
