女王大学 2020 年至今 研究助理(博士) 加拿大金斯顿 导师:Ali Etemad 在此期间,我还隶属于 Vector Institute(2021 年至今)。 ∙ 目前,我正在研究用于视频理解的多模态 LLM 的自对齐。 ∙ 首次研究了流行的视频自监督方法对各种形式的自然分布转变的行为,发现了一系列有趣的发现和行为。 ∙ 引入 XKD 来改善视频表示学习中音频和视觉模态之间的对齐。 ∙ 引入 CrissCross 来学习利用音频和视觉模态之间的异步关系的广义表示。 ∙ 推出了 AVCAaffe,这是用于理解人类行为的最大的记录情感视频数据集。
主要关键词