为了应对及时的工程挑战,诸如Coop之类的方法通过直接从数据中学习最佳提示来自动化该过程。这减少了对手动调整的依赖,并可以提高模型对不同任务的适应性。在开放式识别挑战中,最近的研究表明,VLMS通过其有限查询集施加了封闭式假设。他们建议,简单地将查询设置扩展到包括更多类别并不能解决问题 - 实际上,由于错误分类和计算开销的增加,它可能会恶化性能(Miller等,2023)。为了减轻这些问题,已经提出了诸如纳入预测不确定性度量和专用的负嵌入等方法。这些方法旨在帮助模型识别输入何时不属于任何已知类别并适当处理此类案例
主要关键词