XiaoMi-AI文件搜索系统
World File Search SystemBulling
与计算机面对面
来源和沟通渠道。Bulling 的团队不仅关注认知过程，还关注我们的行为，例如我们如何与数字设备互动。他们的首要任务是教会计算机正确识别我们的视线，而不仅仅是从完美照明的面部和恒定的实验室环境中识别，就像以前的计算机辅助凝视分析一样。科学家们长期以来一直依靠机器学习来做到这一点。但是，到目前为止，他们用来训练计算机的数据与日常生活并不十分相关。为了纠正这个问题，Bulling 和他的团队在 15 名志愿者的笔记本上安装了软件。在他们使用电脑工作的几天里，软件反复提示志愿者注视显示器上的选定点，并拍摄他们的照片。这为团队提供了不同环境中的图像，通常是在光线不足的情况下。因为他们还知道志愿者的视线在哪里
使可视化和界面适应用户
*通讯作者：Francesco Chiossi，LMU慕尼黑，慕尼黑，德国，电子邮件：francesco.chiossi@ifi.lmu.de Johannes Zagermann，Tiare Feuchtner，Harald Reiterer，Harald Reiterer，Konstanz大学konstanz.de，harald.reiterer@uni-konstanz.de Jakob Karolus，Sven Mayer，Albrecht Schmidt，Lmu Munich，Munich，Dermich，Dermany，电子邮件： Iskopf，Benedikt Ehinger，Andreas Bulling，Stuttgart大学，德国Stuttgart，电子邮件，电子邮件：nils.rodrigues@visus.uni-stuttgart.de， daniel.weiskopf@visus.uni-stuttgart.de, Benedikt.Ehinger@vis.uni-stuttgart.de, andreas.bulling@vis.uni-stuttgart.de Priscilla Balestrucci、Marc Ernst，乌尔姆大学，乌尔姆，德国，电子邮件：Priscilla.Balestrucci@uni-ulm.de, Marc.Ernst@uni-ulm.de Lewis L. Chuang，开姆尼茨工业大学，开姆尼茨，德国，电子邮件：lewis.chuang@phil.tu-chemnitz.de
操作和供应链管理
盖茨小，奥罗拉大学；博伊西州立大学汤姆·加蒂克（Tom Gattiker）； TEM PLE大学的Mark Gershon；西密歇根大学的达马达·戈尔哈尔（Damodar Golhar）；杰克逊维尔州立大学罗伯特·格雷厄姆（Robert Graham）；马萨诸塞大学达特茅斯大学的Angappa Gunasekaran； Haresh Gurnani，迈阿密大学；宾夕法尼亚州立大学特里·哈里森（Terry Harrison）；东湾的加利福尼亚州立大学的Vishwanath Hegde；佐治亚州立大学克雷格·希尔（Craig Hill）；伊利诺伊大学芝加哥大学的吉姆·霍（Jim Ho）； Seong Hyun Nam，北达科他州的Uni Cersity；乔纳坦·琼（Jonatan Jelen），慈悲学院；拉萨尔大学Pra Fulla Joglekar； Vijay Kannan，犹他州盖茨小，奥罗拉大学；博伊西州立大学汤姆·加蒂克（Tom Gattiker）； TEM PLE大学的Mark Gershon；西密歇根大学的达马达·戈尔哈尔（Damodar Golhar）；杰克逊维尔州立大学罗伯特·格雷厄姆（Robert Graham）；马萨诸塞大学达特茅斯大学的Angappa Gunasekaran； Haresh Gurnani，迈阿密大学；宾夕法尼亚州立大学特里·哈里森（Terry Harrison）；东湾的加利福尼亚州立大学的Vishwanath Hegde；佐治亚州立大学克雷格·希尔（Craig Hill）；伊利诺伊大学芝加哥大学的吉姆·霍（Jim Ho）； Seong Hyun Nam，北达科他州的Uni Cersity；乔纳坦·琼（Jonatan Jelen），慈悲学院；拉萨尔大学Pra Fulla Joglekar； Vijay Kannan，犹他州
使用深度学习对大脑活动中的扫视方向进行分类
眼动追踪技术可以预测眼睛的注视方向，从而根据大脑活动来判断凝视方向。解决这一问题最成功的尝试之一是预测眼动估计回归 [LaConte 等人，2007]，这是一种基于成像的方法，使用机器学习算法根据眼睛的体素数据来估计功能性磁共振成像 (fMRI) 时间序列中的注视方向 [Son 等人，2020]。这对于那些买不起眼动追踪系统或不具备分析眼动追踪数据专业知识的神经科学实验室来说具有巨大的潜力。然而，fMRI 数据采集成本高昂，并且不能提供认知发生水平的时间分辨率。相比之下，EEG 是一种安全且成本低廉的方法，可以直接测量大脑的电活动，并可以在临床环境中进行测量（例如在病床上进行长期记录）。机器学习技术可以从脑电图记录中提取大脑活动信息，并在几个重要的基于脑电图的研究和应用领域中发挥着至关重要的作用[Roy et al . 2019a]。具体来说，深度学习允许计算模型学习具有多个抽象级别的数据表示，从而使用数据集提供的所有信息[Vahid et al . 2020]。尽管深度学习在脑电图时间序列分类方面已被证明是成功的并且得到了广泛的应用[Roy et al . 2019b]，但它在实验研究和架构设计方面仍然落后于图像识别。在这个项目中，作为对凝视位置进行分类的第一步，我们假设可以通过结合脑电图和深度学习来恢复扫视的方向（左和右）。这反过来又可以为已经获得的和可用的脑电图研究提供关于扫视方向的更多信息，从而可以重新分析这些数据集，以验证结果并解决以前不适用的新研究问题（例如，与年龄相关的大脑活动差异因老年受试者比年轻受试者更频繁地移动眼睛这一事实而变得复杂 [Płomecka et al. 2020]）。此外，从脑电图数据中恢复眼球注视信息可以潜在地改善许多基于脑电图的辅助技术，例如基于非侵入性脑机接口 (BCI) 的假肢或移动机器人，提供额外丰富的测量指标并帮助现有技术提高性能 [Kapralov et al . 2019]。我们相信这项研究为更先进的辅助技术提供了一些重要见解，例如将 ET 与脑电图相结合的混合方法 [Millán et al. 2010]。已经有一些关于经典监督机器学习技术的研究；例如，[Bulling et al.
rndr。 Balasia博士
[C1] Agrawal T.，Balazia M.，Bremond f。：CM3T：高效多模式学习的框架，用于非病会议出版物基因交互数据集。IEEE/CVF冬季有关计算机视觉应用（WACV）的冬季会议，美国图森，2025年。[C2] Sinha S.，Balazia M.，Bremond f。：通过优化的聚合网络识别教法性白内障手术视频中的手术器械。IEEE图像处理应用和系统（IPA）的国际会议，法国里昂，2025年。[C3] Muller P.，Balazia M.，Baur T.，Dietz M.，Heimerl A.，Penzkofer A.，Schiller D.，Bremond F.，Alexandersson J.，Andre E.ACM多媒体（ACMMM），澳大利亚墨尔本，2024年。[C4] Strizhkova V.，Kachmar H.，Chaptoukaev H.，Kalandadze R.，Kukhilava N.，Tsmindashvili T.，Abo-Alzahab N.，Zuluaga M.A.：MVP：基于视频和生理信号的多模式情绪识别。在IEEE/CVF欧洲计算机愿景会议（ECCV），意大利米兰的IEEE/CVF欧洲/CVF上的情感行为分析（ABAW），2024年。[C5] Reka A.，Borza D.L.，Reilly D.，Balazia M.，Bremond F。：将门控和上下文引入时间动作检测。在IEEE/CVF欧洲计算机愿景会议（ECCV），意大利米兰的IEEE/CVF欧洲/CVF上的情感行为分析（ABAW），2024年。[C6] Tiwari U.，Majhi S.，Balazia M.，Bremond f。：自动驾驶异常检测至关重要的是：弱监督的地平线。ACM多媒体（ACMMM），第9640-9645页，加拿大渥太华，2023年。在IEEE/CVF欧洲计算机视觉会议（ECCV），意大利米兰，2024年，IEEE/CVF欧洲计算机视觉会议（ECCV）举行的自动驾驶（漫游）的强大，分发和多模式模型。[C7] Muller P.，Balazia M.，Baur T.，Dietz M.，Heimerl A.，Schiller D.，Guermal M.，Thomas D.，Bremond F.，Alexander-Sson J.，Andre E.，Andre E.[C8] Agrawal T.，Balazia M.，Muller P.，Bremond F。：多模式视觉变压器，强迫注意行为分析。IEEE/CVF计算机视觉应用（WACV）的冬季会议，第3392–3402页，美国威克罗阿，美国，2023年。[C9] Balazia M.，Muller P.，Tanczos A.L.，Liechtenstein A.，Bremond F。：社会互动的身体行为：新颖的注释和最新评估。ACM多媒体国际会议（ACMMM），第70-79页，里斯本，葡萄牙，2022年。[C10] Balazia M.，Hlavackova-Schindler K.，Sojka P.，Plant C。：Granger Causal-Ity的可解释步态识别。IEEE/IAPR国际模式认可会议（ICPR），第1069-1075页，加拿大蒙特利尔，2022年。[C11] Agrawal T.，Agarwal D.，Balazia M.，Sinha N.，Bremond f。：使用跨意识变压器和行为编码的多模式人格识别。IAPR国际视觉理论与应用会议（VISAPP），第501-508页，Virtual，2022。[C12] Sinha N.，Balazia M.，Bremond f。：火焰：面部地标热图激活的多模式凝视。IEEE国际高级视频和信号监视会议（AVSS），第1-8页，虚拟，2021年。[C13] Balazia M.，Happy S.L.，Bremond F.，Dantcheva A。：面部多么独特：一项调查研究。IEEE/IAPR国际模式识别会议（ICPR），第7066-7071页，意大利米兰，2021年。[C14] Balazia M.，Sarkar s。：在活动对象跟踪中重新调用评估。在神经信息处理系统会议上（NEURIPS），加拿大温哥华，2019年的神经信息处理系统（NEURIPS）的新知识（NEWINML）。[C15] Aakur S.，Sawyer D.，Balazia M.，Sarkar S。：对未修剪监视视频中基于建议的细粒度活动检测方法的检查。NIST关于TREC视频检索评估（TRECVID）的研讨会，《扩展视频挑战的活动》，美国盖瑟斯堡，2018年。[C16] Balazia M.，Sojka p。：您是走路的方式：不合作的MOCAP步态识别视频监视，并使用不完整和嘈杂的数据。IEEE/IAPR国际生物识别技术联合会议（IJCB），第208-215页，美国丹佛，2017年。 [C17] Balazia M.，Sojka p。：用于基于MOCAP的步态识别方法的评估框架和数据库。 IAPR关于模式识别可再现研究（RRPR）的研讨会，第33-47页，墨西哥坎昆，2016年。 [C18] Balazia M.，Sojka p。：通过最大保证金标准（扩展摘要）学习健壮的步态识别功能。 IAPR关于结构和句法模式识别（SSPR）和统计技术的国际国际研讨会（SPR），第585-586页，墨西哥梅里达，2016年。 [C19] Balazia M.，Sojka p。：与运动捕获数据相关的步态识别的独立特征。IEEE/IAPR国际生物识别技术联合会议（IJCB），第208-215页，美国丹佛，2017年。[C17] Balazia M.，Sojka p。：用于基于MOCAP的步态识别方法的评估框架和数据库。IAPR关于模式识别可再现研究（RRPR）的研讨会，第33-47页，墨西哥坎昆，2016年。[C18] Balazia M.，Sojka p。：通过最大保证金标准（扩展摘要）学习健壮的步态识别功能。IAPR关于结构和句法模式识别（SSPR）和统计技术的国际国际研讨会（SPR），第585-586页，墨西哥梅里达，2016年。[C19] Balazia M.，Sojka p。：与运动捕获数据相关的步态识别的独立特征。IAPR关于结构和句法模式识别（SSPR）和统计技术的国际国际研讨会（SPR），第310-321页，墨西哥，墨西哥，2016年。[C20] Balazia M.，Sojka p。：通过最大余量标准学习适合步态识别的功能。IEEE/IAPR国际模式识别会议（ICPR），第901-906页，墨西哥坎昆，2016年。[C21] Balazia M.，Sedmidubsky J.，Zezula P。：语义上一致的人类运动分割。国际数据库和专家系统应用程序（DEXA），第423-437页，德国慕尼黑，2014年。[C22] Sedmidubsky J.，Valcik J.，Balazia M.，Zezula p。：基于归一化步行周期的步态识别。国际视觉计算研讨会（ISVC），第11-20页，Rethymno，希腊，2012年。[C23] Valcik J.，Sedmidubsky J.，Balazia M.，Zezula P.，确定人类识别的行走周期。太平洋亚洲情报与安全信息学讲习班（PAISI），第127-135页，马来西亚吉隆坡，2012年。
深海海绵衍生的环境 DNA 分析揭示了偏远北极生态系统的底栖鱼类生物多样性
Agersnap, S.、Sigsgaard, EE、Jensen, MR、Avila, MDP、Carl, H.、Møller, PR、Krøs, SL、Knudsen, SW、Wisz, MS 和 Thomsen, PF (2022)。利用公民科学和 eDNA 宏条形码监测沿海海洋鱼类的国家级“生物多样性调查”。海洋科学前沿，第 9 卷，第 1-17 页。Altschul, SF、Gish, W.、Miller, W.、Myers, EW 和 Lipman, DJ (1990)。基本局部比对搜索工具。分子生物学杂志，第 215 卷，第 403-410 页。Ashelford, KE、Chuzhanova, NA、Fry, JC、Jones, AJ 和 Weightman, AJ (2005)。据估计，目前公共存储库中保存的 20 个 16S rRNA 序列记录中至少有 1 个包含大量异常。应用与环境微生物学，71，7724–7736。Auster, PJ (2005)。深水珊瑚是鱼类的重要栖息地吗？在 A. Freiwald 和 JM Roberts（编辑），冷水珊瑚和生态系统（第 747–760 页）。Springer Berlin Heidelberg。https://doi. org/10.1007/3–540–27673-4 Beng, KC 和 Corlett, RT (2020)。环境 DNA (eDNA) 在生态学和保护中的应用：机遇、挑战和前景。生物多样性与保护，29，2089–2121。Benson, DA (2004)。GenBank。核酸研究，33，34–38。Bessey, C.、Neil Jarman, S.、Simpson, T.、Miller, H.、Stewart, T.、Kenneth Keesing, J. 和 Berry, O. (2021)。被动式 eDNA 收集可增强水生生物多样性分析。通讯生物学，4，236。Brandt, MI、Pradillon, F.、Trouche, B.、Henry, N.、Liautard-Haag, C.、Cambon-Bonavita, MA、Cueff-Gauchard, V.、Wincker, P.、Belser, C.、Poulain, J.、Arnaud-Haond, S. 和 Zeppilli, D. (2021)。评估使用环境 DNA 估计深海生物多样性的沉积物和水采样方法。科学报告，11，7856。 Brodnicke, O.、Meyer, H.、Busch, K.、Xavier, J.、Knudsen, S.、Møller, P.、Hentschel, U. 和 Sweet, M. (2022)。出版物的采样元数据：“深海海绵衍生的环境 DNA 分析揭示了偏远北极生态系统的底栖鱼类生物多样性”。Zenodo。https://doi.org/10.5281/zenodo.7326708 Burian, A.、Mauvisseau, Q.、Bulling, M.、Domisch, S.、Qian, S. 和 Sweet, M. (2021)。提高 eDNA 数据解释的可靠性。分子生态资源，21，1422–1433。 Busch, K., Beazley, L., Kenchington, E., Whoriskey, F., Slaby, BM, & Hentschel, U. (2020). 玻璃海绵 Vazella pourtalesii 的微生物多样性对人类活动的响应。保护遗传学，21，1001–1010。Busch, K., Hanz, U., Mienis, F., Mueller, B., Franke, A., Roberts, EM, Rapp, HT, & Hentschel, U. (2020). 站在巨人的肩膀上：海山如何影响海水和海绵的微生物群落组成。生物地球科学，17，3471–3486。 Busch, K.、Slaby, BM、Bach, W.、Boetius, A.、Clefsen, I.、Colaço, A.、Creemers, M.、Cristobo, J.、Federwisch, L.、Franke, A.、Gavriilidou, A.,Hethke, A., Kenchington, E., Mienis, F., Mills, S., Riesgo, A., Ríos, P., Roberts, EM, Sipkema, D., … Hentschel, U. (2022)。全球深海海绵微生物组的生物多样性、环境驱动因素和可持续性。《自然通讯》，第 13 卷，第 5160 页。Cai, W., Harper, LR, Neave, EF, Shum, P., Craggs, J., Arias, MB, Riesgo, A., & Mariani, S. (2022)。圈养海绵中的环境 DNA 持久性和鱼类检测。《分子生态资源》，第 22 卷，第 2956-2966 页。Callahan, BJ, McMurdie, PJ, Rosen, MJ, Han, AW, Johnson, AJA, & Holmes, SP (2016)。 DADA2：从 Illumina 扩增子数据进行高分辨率样本推断。《自然方法》，13，581–583。Cárdenas, P.、Rapp, HT、Klitgaard, AB、Best, M.、Thollesson, M. 和 Tendal, OS (2013)。分类学、生物地理学和 DNA 条形码