ICCV 2023 顶级论文、总体趋势和个人精选

您想了解去年所有最新的最先进方法吗?了解今年 ICCV 中入选的最佳和最著名的论文。了解人工智能和计算机视觉的最新趋势。

来源:AI夏令营

我很幸运也很荣幸能够参加在巴黎举行的 ICCV 2023 会议。在收集了论文和笔记后,我决定分享我的笔记以及我最喜欢的笔记。以下是挑选出的最佳论文及其关键思想。如果您喜欢下面的笔记,请在社交媒体上分享!

了解生成学习和判别学习之间的联系

关键思想:我非常兴奋的一个非常新的趋势是生成建模和判别建模之间的联系。它们之间有共同的表征吗?

关键思想

作者证明了在表达共享概念(例如物体轮廓、物体部分和颜色)的不同模型中存在匹配神经元(rosetta 神经元)。这些概念在没有任何监督或手动注释的情况下出现。来源

作者证明了在表达共享概念(例如物体轮廓、物体部分和颜色)的不同模型中存在匹配神经元(rosetta 神经元)。这些概念的出现无需任何监督或手动注释。来源 来源

是的!论文“Rosetta Neurons:挖掘模型动物园中的共同单位”表明,使用完全不同的目标进行预训练的完全不同的模型会学习共同的概念(例如物体轮廓、物体部分和颜色)。这些概念的出现无需任何监督或手动注释。到目前为止,我只看到与物体相关的概念出现在自监督视觉转换器(如 DINO)的自注意力图上。他们进一步表明,即使对于 StyleGAN2,激活看起来也相似。

Rosetta Neurons:挖掘模型动物园中的公共单元 自我注意 视觉变换器

预训练:将视觉自监督训练与自然语言监督相结合

动机 掩蔽自动编码器 (MAE) CLIP

关键思想:虽然 MAE 在分割等密集视觉任务中蓬勃发展,但 WSL 学习抽象特征并具有出色的零样本性能。我们能找到一种方法来兼顾两全其美吗?

ViT L =