详细内容或原文请订阅后点击阅览
剪辑模型概述:解锁多模式AI
通过对比度学习的多模式模型背后的魔术片段模型概述:解锁多模式AI的功能首先出现在数据科学上。
来源:走向数据科学今天有很多关于LLM的炒作。工程师经常比较和赞美最近的革命模型,例如Chatgpt,Llama,Gemini和Mistral,这确实值得关注他们拥有的强大能力。同时,开发人员倾向于不提到许多其他有影响力的模型,这些模型也在机器学习行业带来了很多成功。
在本文中,我想谈谈Openai -Clip开发的最具标志性的模型之一。剪辑在2021年发布,可用于NLP或计算机视觉项目的各种设置,并在不同任务上产生最先进的结果。尽管许多工程师认为夹子只是一个嵌入模型(这是事实),但其应用程序非常广泛。
在本文中,我们将详细介绍剪辑模型,包括其架构和培训过程,性能和应用程序。
对比度学习
在讨论剪辑架构之前,让我们了解对比学习背后的含义,这在剪辑设计中起着不可或缺的作用。
对比度学习对比度学习是一种自我监督的学习方法,其目标包括教授嵌入模型以产生嵌入的嵌入,使得相似的样本在空间中更靠近,而不同的样本则将其推得更远。
简单地说,相反的学习,模型与对象成对一起起作用。在培训期间,它不知道它们是否相似。通过计算出的嵌入预测其距离(相似性)后,计算损耗函数。基本上,有两种情况:
初始对象相似。 初始对象不同。