人类和动物擅长从有限的数据中进行泛化,这种能力尚未被人工智能完全复制。本视角研究生物和人工深度神经网络 (DNN) 在分布内和分布外环境下的泛化能力。我们提出两个假设:首先,与离散认知实体(如物体、词语和概念)相关的神经流形的几何性质是强大的序参量。它们将神经基础与泛化能力联系起来,并提供一种统一的方法论来弥合神经科学、机器学习和认知科学之间的差距。我们概述了神经流形几何研究的最新进展,特别是在视觉物体识别方面,并讨论了将流形维数和半径与泛化能力联系起来的理论。其次,我们认为广度 DNN 的学习理论,尤其是在热力学极限下的学习理论,为生成所需神经表征几何和泛化的学习过程提供了机制上的见解。这包括权重范数正则化、网络架构和超参数的作用。我们将探讨该理论的最新进展和持续面临的挑战。我们还将讨论学习的动态及其与大脑表征漂移问题的相关性。
摘要 - 运动成像脑图是非线性,非平稳性和高维本质上的。由于其中,跨多个主题的现有分类模型的预测是有限的。为了提高跨多个主题的现有分类模型的性能,本文提出了一种新的预处理方法。引入了一种混合特征选择方法,以选择最佳的通道数,然后选择聚类。聚类有助于通过检测不同受试者之间的类似簇来探索共享的大脑活动模式及其与外部因素的关系。在这项研究中,使用四个不同的分类器来对运动成像脑电图数据进行分类。使用集成技术的拟议方法的精度为99.6%。在逻辑回归中可以看到显着改善。这项研究的结果表明,使用我们提出的方法可以跨多个受试者进行运动成像脑电图的概括。
改善现实世界中通用机器人操纵的概括能力长期以来一直是一个重大挑战。现有的方法通常依赖于收集大规模机器人数据,这些机器人数据是昂贵且耗时的。但是,由于数据的多样性不足,他们通常会限制其在开放域中的能力,并具有新的对象和不同的环境。在本文中,我们提出了一种新颖的范式,该范式有效地利用了由Internet规模的基础模型生成的语言分割掩码,以调节机器人操纵任务。通过将蒙版模态整合到源自视觉基础模型的语义,几何和时间相关先验中,并将其方法呈现为端到端的策略模型,我们的方法可以有效地感知的对象姿势并启用样本有效的概括性学习,包括新的对象,包括新的对象,包括新的对象,semantic intancics,Semantic类别,语义类别,和统一的背景。我们首先引入了一系列基础模型,以跨多个任务进行基础语言需求。其次,我们基于模仿学习开发了一个两流2D策略模型,该模型可以处理原始图像和对象掩码,以以局部 - 全球知觉方式预测机器人动作。在Franka Emika机器人和低成本双臂机器人上进行的广泛的现实世界实验证明了我们提出的范式和政策的有效性。可以在link1或link2中找到演示,我们的代码将在https://github.com/mcg-nju/tpm上发布。
大规模机器学习的最新进展已产生了能够适应一系列下游任务的高容量的“基础模型”。这种模型对机器人技术抱有很大的希望,但普遍的范式仍然将机器人描绘成单个自主决策者,并执行诸如操纵和导航之类的任务,并且人类参与度有限。然而,包括可穿戴机器人技术(例如,假肢,矫形器,外骨骼),近视和神经界面在内的大量实际机器人系统是半自治的,需要与人类合作伙伴进行持续的互动协调。在该立场论文中,我们认为机器人基础模型必须演变为交互式的多机构观点,以处理实时人类机器人共同适应的复杂性。We propose a generaliz- able, neuroscience-inspired architecture encompassing four modules: (1) a multimodal sensing module informed by sensorimotor integration principles, (2) an ad-hoc teamwork model reminiscent of joint-action frameworks in cognitive science, (3) a predictive world belief model grounded in internal model theories of motor control, and (4) a memory/feedback mechanism that呼应了基于Hebbian和基于增强的可塑性的概念。尽管通过机器人系统的镜头进行了说明,但可穿戴设备和人类生理学的镜头与众不同,但所提出的框架广泛适用于在半自治或交互式环境中运行的机器人。通过超越单一代理设计,我们的立场强调了机器人技术中的基础模型如何实现更强大,个性化和预期的性能水平。
我们如何决定在新情况下该怎么做?解决这一难题的一种方法是重用针对其他情况开发的解决方案。现在有一些证据表明,计算过程捕获了这一想法(称为继任特征和普遍的政策改进)可以说明人类如何将先前解决方案转移到新情况下。在这里,我们询问了这个想法的简单表述是否可以解释人类大脑活动,以响应新任务。参与者在fMRI期间完成了多任务学习实验(n = 40)。该实验包括参与者可以用来了解其环境的培训任务,并测试任务以探究其概括策略。行为结果表明,人们对培训任务学习了最佳解决方案(策略),并以奖励选择性的方式将其重复使用测试任务。神经结果表明,训练任务的最佳解决方案在枕皮层和背外侧前额叶皮层中的测试任务期间获得了优先处理。这些发现表明,在解决新任务时,人类评估并概括了过去的过去解决方案。
此外,随机森林分类器通过其易于可见的特征的重要性提供了易于解释。特征重要性是一个简单的度量标准,它指示每个特征对分类器预测的相对贡献。例如,对于选定的分类器,“ shop”一词的特征重要性得分为0.044,是平均特征重要性得分0.006的七倍以上。这意味着“商店”一词在分类中高度相关,与一个平均重要的功能相比。这允许对分类器的预测进行摘要见解。使用Python(Scikit-Learn)中的机器学习软件包来计算功能重要性。表3中突出显示了具有显着特征重要性的特征单词。
摘要:单细胞转录组学越来越依赖于非线性模型来利用维度和增长的数据。,大多数模型验证都侧重于局部流形的保真度(例如,平方误差和其他数据可能性指标),几乎不关注这些模型的全局歧管拓扑,理想情况下应该是学习。为了解决这一限制,我们实施了一个强大的评分管道,旨在验证模型重现整个参考歧管的能力。Python库Cytobench以及Jupyter笔记本电脑和示例数据集演示了这种方法,以帮助用户开始工作流。歧管概括分析可用于开发和评估旨在学习蜂窝动力学网络的模型,并在外部数据集上验证其性能。可用性:实施评分管道的Python库已通过PIP提供,可以在Github和一些Jupyter笔记本旁边检查显示其应用程序。联系人:nlazzaro@fbk.eu补充信息:补充数据可在Online Bioinformatics获得。
摘要:单细胞转录组学越来越依赖于非线性模型来利用尺寸和不断增长的数据。但是,大多数模型验证都侧重于局部流动保真度(例如,平方误差和其他数据可能性指标),在对全球流形拓扑的关注很少,理想情况下应该是学习。为了解决这一问题,我们已经实施了一条强大的评分管道,旨在验证模型重现整个参考歧管的能力。Python库Cyto-Bench演示了这种方法,以及Jupyter笔记本电脑和示例数据集,以帮助用户开始工作流程。歧管概括分析可用于开发和评估模型,以了解完整的蜂窝动力网络,并在外部数据集中验证其性能。可用性:实施评分管道的Python库已通过PIP提供,可以在Github和一些Jupyter笔记本旁边检查显示其应用程序。联系人:nlazzaro@fbk.eu或toma.tebaldi@unitn.it
本研究调查了数据集特性对深度学习模型的性能和概括性的影响,对ECG数据。该研究评估了TNMG数据集的多个子集,其策划特征水平不同,以评估其对模型性能的影响。此外,引入了吸引机制来增强模型的确保和泛化。实验结果表明,接受平衡子集训练的模型,并不断提出注意力机制,始终优于那些接受不平衡数据或没有注意力的人,强调了数据集平衡和注意力的关注机制在实现改进模型性能方面的重要重要性。令人惊讶的是,最大的ECG数据集TNMG与较小的策划子集相比,在概括方面的效果较差。这项研究表明,即使尺寸明显较小,一个均衡平衡且经过精心策划的数据集也可能导致竞争模型的绩效。这项关于ECG数据的研究强调了生物医学机器学习中数据集策划,平衡和注意力机制的重要重要性。高灯光,具有注意机制的均衡,经过精心策划的数据集可以优于更大,不平衡的数据集,挑战性的常规概念,并在医学数据分析和患者护理中提供潜在的进步。关键字:生物医学深度学习,心电图数据,模型性能,概括,数据集字符 - 属性,注意机制。
摘要:概括问题在机器学习模型中很常见,尤其是在医疗保健应用中。本研究通过分析特定用例来解决现实世界中的概括及其挑战的问题:使用复发性神经网络(RNN)预测患者的再入院。尽管先前开发的RNN模型在重症监护室(MIMIC-III)数据集上获得了强大的结果,但是当应用于当地医院的数据时,它显示出近乎随机的预测精度(Moazemi等,2022)。我们假设这种差异是由于患者人口统计学,临床实践,数据收集方法和基础设施的医疗保健差异所致。通过使用时间序列的统计方法和距离指标,我们确定了模拟物和医院数据之间人口统计学和重要数据中的关键差异。这些发现突出了在医疗保健环境中开发可推广的机器学习模型的可能挑战,不仅需要改善算法解决方案,而且需要改善算法和收集医疗数据的过程。