导航极端:大输出空间中的动态稀疏性。Nasibullah Nasibullah,Erik Schultheis,Mike Lasby,Yani Ioannou,Rohit Babbar。研究了大型输出空间的动态稀疏训练。利用半结构化的稀疏性,中间层和辅助损失,它可以使用数百万个标签的端到端培训。
序列学习的顺序是通过此博客文章引用了超过27,000次。随着当前大语言模型和基础模型的快速进步,在AI和应用程序中发生了范式转变,该领域受益于这项工作的基础。是基石的工作,它设定了编码器架构,激发了后来的基于注意力的改进,从而导致了当今的基础模型研究。
几乎没有字体生成(FFG)旨在从有限数量的参考字形学习目标样式,并在目标字体中生成剩余的字形。以前的作品着重于解开字形的内容和样式特征,将源字形的内容特征与参考文字的样式特征相结合以生成新的字形。然而,由于字形的复杂性,分离构成了挑战,通常导致字形受到源字形风格和容易产生文物的风格的字形。我们提出了一个新的范式,它是一种新颖的范式,其中包含了思想描述序列(IDS),而不是源字形来控制生成的字形的语义。为了实现这一目标,我们将参考字形量化为代币,并使用相应的ID和参考令牌对目标字形的令牌分布进行建模。所提出的方法在用整洁和正确的笔触合成字形方面表现出色,并可以基于提供的ID来创建新的字形。广泛的实验表明,我们的方法在一击和少量设置中都大大优于最先进的方法,尤其是当目标样式与培训字体样式显着差异时。该代码可在https://github.com/stareven233/if-font上找到。
我们是否充分利用多模式大语模型(MLLM)中视觉编码器的潜力?MLLM最近在多模式理解中的出色表现引起了学术界和行业的广泛关注。在当前的MLLM大鼠种族中,重点似乎主要是语言方面。我们目睹了较大和更高质量的指导数据集的兴起,以及大型LLM的参与。然而,很少关注的注意力指向MLLM使用的视觉信号,通常被认为是冷冻视觉编码器提取的最终高级特征。在本文中,我们介绍了密集的连接器 - 一种简单,有效且插件的视觉语言连接器,通过利用多层视觉特征来显着增强现有MLLM,并以最少的额外计算开销。在此基础上,我们还提出了有效的密集连接器,该连接器的性能与Llava-V1.5相当,只有25%的视觉令牌。此外,我们的模型仅在图像上进行了训练,还展示了视频理解中出色的零拍功能。各种视觉编码器,图像分辨率,训练数据集量表,不同尺寸的LLM(2.7b→70b)以及MLLM的不同架构(e。g。,llava-v1.5,llava-next和mini-gemini)验证了我们方法的多功能性和可扩展性,从而在19个图像和视频基准中实现了最先进的性能。我们希望这项工作将提供宝贵的经验,并成为未来MLLM开发的基本模块。代码可在https://github.com/hjyao00/denseconnector上找到。
专业活动共同组织者Umich AI研讨会(2024)CVPR研讨会主席(2024)首席组织者,视觉和声音研讨会,网址为CVPR 2018-2024。共同组织者,AV4D:空间工作室中声音的视觉学习,ECCV 2022,ICCV2023。共同组织者,开放世界视觉研讨会,CVPR 2021-2024。共同组织者,体现的多模式学习研讨会,位于ICLR 2021。评论者:CVPR(2015-2020,2022),ICCV(2015,2017,2019,2019,2021),ECCV(2016,2018,2018,2020,2022),Siggraph(2020,2024),Siggraph Paphaph Asia(2024),(2024),ICLR(2018,2024) (2017),Neurips(2017、2019、2021、2022),CHI(2018),UIST(2019),ACL(2022),Corl(2022),ICASSP(2023)(2023)区域主席:CVPR:CVPR(2021,2023,2023,2024,2025),Neurips(Neurips(Neurips),Neurips(2023),20222222222222222222222222222222222222222222222222222222222222222222222222222222年2月22日(neurips)(neurips datev)(neurips)( (2023),ICCV(2023),ECCV(2024)NSF小组成员(2023,2024)
IJCAI 2020 AI社会良好研讨会计划委员会,神经2020年健康研讨会的机器学习外部审核者,USENIX SECURICE,2021审稿人,《杂志》,《人工智能研究杂志》,《人工审查者》,ICML,ICML 2021 FACCT 2022审稿人,ICML 2022 Neurips,Neurips 2022稳健性建模研讨会计划委员会,IEEE SATML 2023审稿人,Neurips 2023计划委员会,FACCT 2024审稿人,ICML 2024IJCAI 2020 AI社会良好研讨会计划委员会,神经2020年健康研讨会的机器学习外部审核者,USENIX SECURICE,2021审稿人,《杂志》,《人工智能研究杂志》,《人工审查者》,ICML,ICML 2021 FACCT 2022审稿人,ICML 2022 Neurips,Neurips 2022稳健性建模研讨会计划委员会,IEEE SATML 2023审稿人,Neurips 2023计划委员会,FACCT 2024审稿人,ICML 2024IJCAI 2020 AI社会良好研讨会计划委员会,神经2020年健康研讨会的机器学习外部审核者,USENIX SECURICE,2021审稿人,《杂志》,《人工智能研究杂志》,《人工审查者》,ICML,ICML 2021 FACCT 2022审稿人,ICML 2022 Neurips,Neurips 2022稳健性建模研讨会计划委员会,IEEE SATML 2023审稿人,Neurips 2023计划委员会,FACCT 2024审稿人,ICML 2024
会议审稿人,神经信息处理系统 (NeurIPS) 2024 审稿人,国际机器学习会议 (ICML) 2024 审稿人,人工智能与统计学 (AISTATS) 2024 审稿人,因果学习与推理 (CLeaR) 2024 审稿人,神经信息处理系统 (NeurIPS) 2023 审稿人,神经信息处理系统 (NeurIPS) 2022 顶级审稿人奖(前 10%)审稿人,国际机器学习会议 (ICML) 2022 顶级审稿人奖(前 10%)审稿人,健康机器学习研讨会 (ML4H) 2022 审稿人,神经信息处理系统 (NeurIPS) 2021 审稿人,人工智能不确定性 (UAI) 2021 审稿人,人工智能与统计学 (AISTATS) 2019
ICLR 2025交织的场景图,用于交织的文本和图像生成评估。Dongping Chen,Ruoxi Chen,Shu Pu,Zhaoyi Liu,Yanru Wu,Caixi Chen,Caixi Chen,Benlin Liu,Yue Huang,Yao Wan,Pan Zhou,Ranjay Krishna International International In In Machine Learning,Machine Learning,2025 ICLR 2025 ICLR 2025 AHA:一个视觉语言的人,以实现失败的竞争,并合理地覆盖了竞争者,并合理地覆盖了杂物。众包工作流的技术。Madeleine Grunde-McLaughlin,Michelle S. Lam,Ranjay Krishna,Daniel S. Weld,Je Q rey Heer Heer ACM ACM Transactions on Computer-Human互动Neurips Neurips Neurips 2024 Dist Me Night Me。Jieyu Zhang, Weikai Huang, Zixian Ma, Oscar Michel, Dong He, Tanmay Gupta, Wei-Chiu Ma, Ali Farhadi, Aniruddha Kembhavi, Ranjay Krishna Advances in neural information processing systems, 2024 NeurIPS 2024 Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models .Yushi Hu*,Weijia Shi*,Xingyu Fu,Dan Roth,Mari Ostendorf,Luke Zettlemoyer,Noah A Smith*,Ranjay Krishna*神经信息处理系统的进步,2024年Neurips 2024 Neurips 2024多语言多样性多样性多样性的多样性改善视觉语言表现。Thao Nguyen, Matthew Wallingford, Sebastin Santy, Wei-Chiu Ma, Sewoong Oh, Ludwig Schmidt, Pang Wei Koh, Ranjay Krishna* Advances in neural information processing systems, 2024 Spotlight Paper award (awarded to top 5%) NeurIPS 2024 The Unmet Promise of Synthetic Training Images: Using Retrieved Real Images Per- forms Better .Scott Geng,Cheng-Yu Hsieh,Vivek Ramanujan,Matthew Wallingford,Chun-Liang Li,Pang Wei Koh*,Ranjay Krishna*神经信息处理系统的进步,2024 Neurips,Neurips 2024 2024 ActionAtlas:Actionatlas:a Videoqa-benchmark for Videoqa Benchmark for-Frain grave grave grave vrained Capention conterition。Mohammadreza Salehi, Jae Sung Park, Aditya Kusupati, Ranjay Krishna , Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi Advances in neural information processing systems, 2024 NeurIPS 2024 NaturalBench: Evaluating Vision-Language Models on Natural Adversarial Samples .Wenxuan Peng,Baiqi Li,Zhiqiu Lin,Jean de Dieu Nyandwi,Zixian MA,Simran Khanuja,Deva Ramanan,Ranjay Krishna,Graham Neubig在神经信息处理系统中的进步,2024 Neurips 2024 Neurips 2024 Neurips 2024 Superpuse Supperections singleferess singleferess inderfection in Deciatsions nicledere nitferations in Deciatsions niclederiate bulyse nitferiations in Deciatsions anderfelions in Deciatsions:多个世代。Ethan Shen,Alan Fan,Sarah M Pratt,Jae Sung Park,Matthew Wallingford,Sham M Kakade,Ari Holtzman,Ari Holtzman,Ranjay Krishna,Ali Farhadi,Aditya Kusupati在神经信息处理系统中的进步,2024
• 会议和研讨会的旅行奖: Eurandom 图拉普拉斯算子、多元极值和代数统计研讨会 (链接) 荷兰埃因霍温理工大学,2024 量子计算基础 (FQC2024) 研讨会 (链接) 伦敦大学皇家霍洛威学院,2024 YES 因果推理研讨会 (链接) 埃因霍温理工大学 Eurandom,2023 神经信息处理系统 (NeurIPS) 学者奖,2022 神经信息处理系统 (NeurIPS) 学者奖,2019 国际复杂系统会议 (ICCS),2018 NeurIPS 机器学习女性,2018 工业与应用数学学会 (SIAM) 年会,2018 强化学习和决策多学科会议 (RLDM),2017 NeurIPS 机器学习女性,2017神经科学 (ICMNS),2017 强化学习和决策多学科会议 (RLDM),2015 奥斯汀记忆与学习会议,2015