深度学习技术的最新进展为协助病理学家从全切片病理图像(WSI)中预测患者的生存期带来了可能性。然而,大多数流行的方法仅适用于WSI中特定或随机选择的肿瘤区域中的采样斑块,这对于捕捉肿瘤与其周围微环境成分之间复杂相互作用的能力非常有限。事实上,肿瘤在异质性肿瘤微环境(TME)中得到支持和培育,详细分析TME及其与肿瘤的相关性对于深入分析癌症发展的机制具有重要意义。在本文中,我们考虑了肿瘤与其两个主要TME成分(即淋巴细胞和基质纤维化)之间的空间相互作用,并提出了一种用于人类癌症预后预测的肿瘤微环境相互作用引导图学习(TMEGL)算法。具体来说,我们首先选择不同类型的块作为节点来为每个 WSI 构建图。然后,提出了一种新颖的 TME 邻域组织引导图嵌入算法来学习可以保留其拓扑结构信息的节点表示。最后,应用门控图注意网络来捕获肿瘤与不同 TME 组件之间与生存相关的交集以进行临床结果预测。我们在来自癌症基因组图谱 (TCGA) 的三个癌症队列上测试了 TMEGL,实验结果表明 TMEGL 不仅优于现有的基于 WSI 的生存分析模型,而且对生存预测具有良好的可解释能力。
文本属性图(标签)是连接的文本文档的图。图形模型可以有效地学习标签,但是它们的培训在很大程度上依赖于人类通知的标签,在许多应用中,这些标签稀缺甚至无法使用。大型语言模型(LLMS)最近在少数拍和零标签学习方面表现出了显着的功能,但它们遭受了可扩展性,成本和隐私问题的困扰。因此,在这项工作中,我们通过将LLM的功率提炼成Tag学习的本地图模型来协同LLM和图形模型,并具有互补的优势。要解决LLMS(文本的生成模型)和图形模型(图形的歧视模型)之间的固有差距,我们首先提议让LLMs用丰富的理由教授解释器,然后让学生模型模仿解释器的推理,而没有LLMS的理由。我们将LLM的文本原理转换为多级图理由,以训练解释器模型,并根据标签的功能将学生模型与解释器模型保持一致。广泛的实验验证了我们提出的框架的功效。
文本属性图(标签)是连接的文本文档的图。图形模型可以有效地学习标签,但是它们的培训在很大程度上依赖于人类通知的标签,在许多应用中,这些标签稀缺甚至无法使用。大型语言模型(LLMS)最近在少数拍和零标签学习方面表现出了显着的功能,但它们遭受了可扩展性,成本和隐私问题的困扰。因此,在这项工作中,我们通过将LLM的功率提炼成Tag学习的本地图模型来协同LLM和图形模型,并具有互补的优势。要解决LLMS(文本的生成模型)和图形模型(图形的歧视模型)之间的固有差距,我们首先提议让LLMs用丰富的理由教授解释器,然后让学生模型模仿解释器的推理,而没有LLMS的理由。我们将LLM的文本原理转换为多级图理由,以训练解释器模型,并根据标签的功能将学生模型与解释器模型保持一致。广泛的实验验证了我们提出的框架的功效。
随着多模式教育数据的可用性的增加,越来越需要有效整合和利用多个数据源以提高学生参与预测的准确性。在这项工作中,我们提出了一个结合多模式数据的框架,包括反映学生个性,他们的人口统计信息,他们的学习行为和注意力以及图形学习技巧的视觉,文本和声学方式。具体而言,开发了3D HAAR半密度框架变换,以捕获模式间关系并建模多模式数据中的复杂相互作用。随后,我们基于多模式数据的光谱引入了一个新型的自适应图结构学习模块,该模块通过自适应权衡其影响来考虑低通和高通帧系数的独特贡献。通过解决标准的半监督节点分类问题,我们成功地实现了学生参与预测的目标。对现实世界教育数据集的实验评估证明了拟议方法的有效性,与最新方法相比,实现了卓越的性能。我们的实验研究表明,多模式图学习在准确预测学生参与度及其增强教育结果的潜力中的重要性。
© Springer Nature Switzerland AG 2024 本作品受版权保护。所有权利均由出版商保留,无论涉及全部或部分材料,特别是翻译、重印、重新使用插图、朗诵、广播、在微缩胶片或任何其他物理方式上复制、传输或信息存储和检索、电子改编、计算机软件或通过现在已知或今后开发的类似或不同的方法。本出版物中使用的一般描述性名称、注册名称、商标、服务标记等并不意味着(即使没有具体声明)这些名称不受相关保护法律和法规的约束,因此可以自由使用。出版商、作者和编辑可以安全地假定本书中的建议和信息在出版之日是真实和准确的。出版商、作者或编辑均不对本文所含材料或任何可能出现的错误或遗漏提供明示或暗示的保证。出版商对已出版地图中的司法管辖权主张和机构隶属关系保持中立。
前所未有的大规模脑成像数据收集,如 MRI、PET、fMRI、M/EEG、DTI 等,为加深我们对大脑工作机制的理解、提高精神障碍的预后预测能力以及制定个性化的脑部疾病治疗方案提供了独特的机会。机器学习和大规模脑成像数据收集、存储和共享方面的最新进展导致了计算神经科学、信号处理、深度学习、脑成像、认知科学和计算精神病学领域的一系列新颖的跨学科方法,其中图学习为解决脑成像中的重要问题提供了一种有价值的手段。图学习是指设计有效的机器学习和深度学习方法来从图中提取重要信息或利用数据中的图结构来指导知识发现。鉴于不同成像模式的复杂数据结构以及人脑的网络化组织结构,基于从图像数据推断的图形、数据的图形正则化和记录数据的图形嵌入的新型学习方法在模拟多个大脑区域的相互作用、来自不同大脑成像模式的网络之间的信息融合、高维大脑网络的潜在空间建模以及量化拓扑神经生物标志物方面显示出巨大的前景。本研究主题结合了新的计算大脑成像模型和通过大脑网络和图形学习的视角对大脑机制的洞察方面的最新发现。在评估了贡献的新颖性和质量后,我们接受了审稿人推荐的 10 篇手稿。为了更详细地介绍这些作品,
神经科学对脑网络进行了广泛的研究,以便更好地理解人类行为以及识别和描述神经和精神疾病条件下的分布式脑异常。已经提出了几种用于脑网络分析的深度图学习模型,但大多数当前模型缺乏可解释性,这使得很难从结果中获得任何启发性的生物学见解。在本文中,我们提出了一种新的可解释图学习模型,称为分层脑嵌入(HBE),以根据网络社区结构提取脑网络表示,从而产生可解释的分层模式。我们应用我们的新方法从使用 ICA 从人类连接组计划扫描的 1,000 名年轻健康受试者获得的功能性脑网络中预测攻击性、违反规则和其他标准化行为分数。我们的结果表明,所提出的 HBE 在预测行为指标方面优于几种最先进的图学习方法,并且展示出与临床症状相关的类似分层脑网络模式。
控制人形和类动物机器人仍然是一个重大挑战。机器学习方法已经在模拟中表现良好。但模拟与现实之间的差异有时使得很难在真实机器人上获得同样好的结果。此外,学习算法需要大量的训练数据。这项工作的目的是构建一个沙箱,使模拟机器人和真实机器人能够进行比较,并支持受控和连续收集模拟和真实数据。沙箱由动作捕捉组件和模拟组件组成。动作捕捉组件负责数据收集。为此,使用了带有六个高精度红外摄像机的 OptiTrack 系统。仿真组件使用Simulink和Simscape Multibody Library实现,负责仿真数据与真实数据的探索和比较。这项工作使用了 ROBOTIS 的四足机器人,由 15 个 Dynamixel 伺服电机控制。为了将机器人集成到沙箱中,必须对其控制器进行重新编程。这简化了向机器人传输运动数据的过程,并使得远程控制机器人成为可能。然后为机器人提供反光标记及其运动
体积图形是计算机图形学的一个新兴子领域,涉及体积建模对象的合成、操作和渲染,这些对象存储为体素的体积缓冲区。与主要关注采样和计算数据集的体积可视化不同,体积图形主要关注建模的几何场景,尤其是那些在常规体积缓冲区中表示的场景。体积图形比表面图形具有优势,因为它独立于视点,对场景和对象的复杂性不敏感,并且适合表示采样和模拟数据集及其与几何对象的混合。它支持内部结构的可视化,并有助于实现块操作、CSG 建模和分层多分辨率表示。与体积缓冲区表示相关的问题,例如离散性、内存大小、处理时间和几何表示丢失,与光栅图形作为矢量图形的替代技术出现时遇到的问题如出一辙,可以通过类似的方式缓解。
体积图形是计算机图形学的一个新兴子领域,涉及体积建模对象的合成、操作和渲染,这些对象存储为体素的体积缓冲区。与主要关注采样和计算数据集的体积可视化不同,体积图形主要关注建模的几何场景,尤其是那些在常规体积缓冲区中表示的场景。体积图形比表面图形具有优势,因为它独立于视点,对场景和对象的复杂性不敏感,并且适合表示采样和模拟数据集及其与几何对象的混合。它支持内部结构的可视化,并有助于实现块操作、CSG 建模和分层多分辨率表示。与体积缓冲区表示相关的问题,例如离散性、内存大小、处理时间和几何表示丢失,与光栅图形作为矢量图形的替代技术出现时遇到的问题如出一辙,可以通过类似的方式缓解。