科学简介:主要研究活动是图像分析、模式识别、并行计算和非标准图像数据库。与国际中心合作,研究和开发了一套方法,涉及人类大脑神经元、眼底、视频毛细血管镜图像分析、图像检索、超声图像分割和分布式架构的标志性图像语言。目前,他正在研究数学方法,以在 MRI 数据上分割人体中的一些特殊癌症区域;研究数学计算模型如何模拟海马区神经元的分布,以及如何使用它们的关系来做出决策和了解环境。此外,他还在研究视频毛细血管镜领域的增强现实框架。
尽管在大型语言模型(LLMS)的文本嵌入的压缩表示中已取得了重大进步,但多模式LLMS(MLLMS)中视觉令牌的压缩仍然很大程度上被忽略了。在这项工作中,我们介绍了有关在这些模型中有关视觉令牌和有效培训的冗余分析的研究。我们的初始实验表明,在测试阶段消除多达70%的视觉令牌,仅通过平均池,仅导致在视觉问题上降低3%的降低3%,从而回答GQA基准上的准确性,这表明在视觉上下文中有显着的冗余。解决此问题,我们介绍了视觉上下文压缩机,这减少了视觉令牌的数量,以提高训练和推理效率而不牺牲性能。为了最大程度地减少视觉令牌压缩而导致的信息损失,同时保持训练效率,我们将Llavolta作为轻巧和分期的训练方案开发,该方案结合了阶段的视觉上下文压缩,以逐步压缩视觉令牌从严重压缩到在训练过程中的轻度压缩,在测试时不会损失信息损失。广泛的实验表明,我们的方法在图像语言和视频语言理解中都提高了MLLM的性能,同时也大大降低了培训成本并提高了推理效率。
2023 算子代数及其应用研讨会:与逻辑的联系,菲尔兹研究所,多伦多。2023 C ∗ -代数:张量积、近似和分类,E. Kirchberg 纪念,明斯特。2023 非交换谐波分析和量子信息,米塔格莱弗研究所。2023 算子代数的现代趋势,Ed Effiros 纪念,加州大学洛杉矶分校。2023 座谈会,加州大学圣地亚哥分校,概率算子代数研讨会,加州大学伯克利分校。2022 加拿大算子代数研讨会 (COSy),渥太华,全体会议发言人。2022 北英国泛函分析研讨会 (NBFAS),英国纽卡斯尔,全体会议演讲。2022 北方的非交换性,查尔姆斯大学,哥德堡,全体会议发言人。 2021 函数分析研讨会,加州大学洛杉矶分校。2021 量子概率和非交换谐波分析,莱顿洛伦兹中心。2021 算子研讨会,首尔国立大学。2021 国际算子理论与应用研讨会 (IWOTA),兰卡斯特,半全体会议。2021 团体聚会 C*-代数庆祝 Siegfried Echterhoff 60 岁生日,明斯特。2021 算子代数暑期学校,渥太华大学。讲座系列(4 × 60 分钟)。2021 算子代数特别周,华东师范大学算子代数研究中心,上海。2021 量子信息论中的非局部博弈,AIM 研讨会。2019 C*-代数研讨会,Oberwolfach 数学研究所。 2019 多面 Connes 嵌入问题,班夫 BIRS 研讨会。2019 巴塞罗那 CRM 几何、拓扑和代数高级课程(2 × 60 分钟)。2019 专题计划算子代数、群和 QIT 的应用,ICMAT,Lect 系列 5 × 90 分钟。2019 数学图像语言研讨会,哈佛大学。2019 二十一世纪的算子代数,宾夕法尼亚大学,费城。2019 悉尼的子因子:算子代数、表示论、量子场论,新南威尔士大学悉尼。2019 Connes 嵌入问题和 QIT,奥斯陆大学冬季学校,讲座系列(4 x 60 分钟)。2018 2018 概率算子代数研讨会,加州大学伯克利分校。2018 座谈会,隆德大学。2017 量子信息理论中的专题程序分析,IHP Paris,讲座系列(2 x 90 分钟)。2017 C ∗ -代数中的青年女性(YMC ∗ A),哥本哈根大学,主讲师。2016 当前量子信息理论中的数学方面,韩国大田。2015 乔治布尔数学科学会议,科克。2015 加拿大算子代数研讨会(COSy),滑铁卢,全体发言人。2014 加拿大算子代数研讨会(COSy),多伦多,全体发言人。2013 Banach 代数及其应用,查尔姆斯大学,哥德堡,全体发言人。 2013 年算子空间、谐波分析和量子概率研讨会,马德里。2012 年北英泛函分析研讨会 (NBFAS),英国牛津,讲座系列(3x 60 分钟)。2012 量子信息理论中的算子结构,BIRS,班夫。2011 EMS-RSME 联合数学周末,毕尔巴鄂。2011 C ∗ -代数和相关主题会议,RIMS,京都。2011 大平原算子理论研讨会 (GPOTS),亚利桑那州坦佩,全体会议发言人。