摘要:概括问题在机器学习模型中很常见,尤其是在医疗保健应用中。本研究通过分析特定用例来解决现实世界中的概括及其挑战的问题:使用复发性神经网络(RNN)预测患者的再入院。尽管先前开发的RNN模型在重症监护室(MIMIC-III)数据集上获得了强大的结果,但是当应用于当地医院的数据时,它显示出近乎随机的预测精度(Moazemi等,2022)。我们假设这种差异是由于患者人口统计学,临床实践,数据收集方法和基础设施的医疗保健差异所致。通过使用时间序列的统计方法和距离指标,我们确定了模拟物和医院数据之间人口统计学和重要数据中的关键差异。这些发现突出了在医疗保健环境中开发可推广的机器学习模型的可能挑战,不仅需要改善算法解决方案,而且需要改善算法和收集医疗数据的过程。
我们通过概括的镜头研究目标条件的RL,但不是从传统的随机增强和域随机化的意义上。相反,我们旨在学习针对地平线的概括的目标指导的政策:在训练以实现附近的目标(这很容易学习)之后,这些政策应该成功实现遥远的目标(这是非常具有挑战性的学习)。In the same way that invariance is closely linked with generalization is other areas of machine learning (e.g., normalization layers make a network invariant to scale, and therefore generalize to inputs of varying scales), we show that this notion of horizon generalization is closely linked with invariance to planning: a policy navigating towards a goal will select the same actions as if it were navigating to a waypoint en route to that goal.因此,经过培训的实现附近目标的政策应成功实现任意途中的目标。我们的理论分析证明,在某些假设下,视野概括和计划不变性都是可能的。我们提出了新的实验结果,并从先前的工作中回忆起,以支持我们的理论结果。综上所述,我们的结果为研究在机器学习的其他领域开发的不变性和概括技术的方式可能会适应以实现这种诱人的属性。
监督的机器学习模型依赖于具有正面(目标类)和负面示例的培训数据集。因此,培训数据集的组成对模型性能有直接影响。具体来说,关于不代表目标类别的样品的负样本选择偏见,在诸如文本分类和蛋白质 - 蛋白质相互作用预测等范围内提出了挑战。基于机器学习的免疫治疗设计是一个越来越重要的研究领域,重点是设计抗体或T细胞受体(TCR),可以与其具有高特异性和亲和力的靶标分子结合。鉴于免疫治疗药物的生物医学重要性,有必要解决负面训练集成分如何影响模型概括和生物学规则发现以实现合理和安全的药物设计的尚未解决的问题。我们着手在抗体 - 抗原结合预测问题的背景下通过改变负面类别,包括结合亲和力梯度来研究这个问题。我们的研究基于提供基于地面真理结构抗体 - 抗原结合数据的大型合成数据集,从而使结合界面上的残基结合能访问了残基的结合能。我们发现,分布式概括和绑定规则发现都取决于所使用的负数据集的类型。重要的是,我们发现模型学习正数据集的绑定规则的能力并不是其分类精度的微不足道相关性。我们通过现实世界中相关的实验数据确认了我们的发现。我们的工作强调了考虑培训数据集组成在基于机器学习的研究中实现最佳分布性能和规则学习的重要性。
摘要:最坏的数据生成(WCDG)概率度量是作为表征机器学习算法的概括功能的工具。这样的WCDG概率度量被证明是两个不同优化问题的独特解决方案:(a)在数据集中,预期损失的最大化是在数据集中的相对熵相对于参考度量的一组概率测量值的最大化; (b)相对于参考度量,通过相对熵的正则化对预期损失的最大化。这样的参考度量可以解释为数据集中的先验。WCDG累积物是有限的,并根据参考度量的累积量进行了界定。分析WCDG概率度量引起的预期经验风险的浓度,引入了模型的(ϵ,δ) - 固定性的概念。闭合形式表达式显示了固定模型的预期损失的灵敏度。这些结果导致了新的表达式,用于任意机器学习算法的概括误差。这些表达式可以大致分为两个类。第一个涉及WCDG概率度量,而第二个涉及Gibbs算法。此发现表明,对Gibbs算法的概括误差的探索促进了适用于任何机器学习算法的总体见解的推导。
大规模机器学习的最新进展已产生了能够适应一系列下游任务的高容量的“基础模型”。这种模型对机器人技术抱有很大的希望,但普遍的范式仍然将机器人描绘成单个自主决策者,并执行诸如操纵和导航之类的任务,并且人类参与度有限。然而,包括可穿戴机器人技术(例如,假肢,矫形器,外骨骼),近视和神经界面在内的大量实际机器人系统是半自治的,需要与人类合作伙伴进行持续的互动协调。在该立场论文中,我们认为机器人基础模型必须演变为交互式的多机构观点,以处理实时人类机器人共同适应的复杂性。We propose a generaliz- able, neuroscience-inspired architecture encompassing four modules: (1) a multimodal sensing module informed by sensorimotor integration principles, (2) an ad-hoc teamwork model reminiscent of joint-action frameworks in cognitive science, (3) a predictive world belief model grounded in internal model theories of motor control, and (4) a memory/feedback mechanism that呼应了基于Hebbian和基于增强的可塑性的概念。尽管通过机器人系统的镜头进行了说明,但可穿戴设备和人类生理学的镜头与众不同,但所提出的框架广泛适用于在半自治或交互式环境中运行的机器人。通过超越单一代理设计,我们的立场强调了机器人技术中的基础模型如何实现更强大,个性化和预期的性能水平。
改善现实世界中通用机器人操纵的概括能力长期以来一直是一个重大挑战。现有的方法通常依赖于收集大规模机器人数据,这些机器人数据是昂贵且耗时的。但是,由于数据的多样性不足,他们通常会限制其在开放域中的能力,并具有新的对象和不同的环境。在本文中,我们提出了一种新颖的范式,该范式有效地利用了由Internet规模的基础模型生成的语言分割掩码,以调节机器人操纵任务。通过将蒙版模态整合到源自视觉基础模型的语义,几何和时间相关先验中,并将其方法呈现为端到端的策略模型,我们的方法可以有效地感知的对象姿势并启用样本有效的概括性学习,包括新的对象,包括新的对象,包括新的对象,semantic intancics,Semantic类别,语义类别,和统一的背景。我们首先引入了一系列基础模型,以跨多个任务进行基础语言需求。其次,我们基于模仿学习开发了一个两流2D策略模型,该模型可以处理原始图像和对象掩码,以以局部 - 全球知觉方式预测机器人动作。在Franka Emika机器人和低成本双臂机器人上进行的广泛的现实世界实验证明了我们提出的范式和政策的有效性。可以在link1或link2中找到演示,我们的代码将在https://github.com/mcg-nju/tpm上发布。
Vision语言基础模型(VLFM)显示出令人印象深刻的概括功能,使其适合域概括(DG)任务,例如合成图像的培训和对真实数据的测试。但是,现有评估主要使用由互联网图像构建的学术基准,类似于用于培训VLFM的数据集。本文评估了基于VLFM的DG算法在两个合成到实体分类数据集,Rareplanes Tiles和飞机上的性能,旨在模仿工业文本。我们的发现表明,虽然VLFMS上的基准优于随机初始化的净作品,但在这些类似工业的数据集中,它们的优势大大降低。这项研究强调了评估模型在不同的代表性数据上的重要性,以了解其现实世界的适用性和局限性。
概括性理论是围绕一组变异来源组织的,称为方面。这些是差异的驱动因素(项目,评估者,观察)。方面是指类似的测量案例。该方面的每个级别称为条件。表现出感兴趣的系统变化(学生,对象,观察者)的测量对象是代表真实,系统变化的测量对象,而不是变异的来源。在此实验中,测量学科是学生(S),三个组成部分是任务(T),场合和评估者(R)。根据居登的布伦南(Brennan)(2019年)的说法,这些方面可以分为两个广泛的类别:分化和仪器方面的方面。Orluwene和Memory(2020)将区分方面进一步分为嵌套和穿越方面。 框架A和B“交叉”当每个方面都知道每个方面的水平Orluwene和Memory(2020)将区分方面进一步分为嵌套和穿越方面。框架A和B“交叉”当每个方面都知道每个方面的水平
冷冻电子断层扫描是一个快速发展的领域,用于研究其天然环境中的宏观复合物,并有可能彻底改变我们对蛋白质功能的理解。然而,在低温图中,快速准确地识别颗粒是具有挑战性的,它代表了下游过程中的显着瓶颈,例如亚图平均图。在这里,我们提出了tomocpt(断层式质心预测工具),这是一种基于变压器的解决方案,该解决方案将粒子检测重新探测为使用高斯标签的质心预测任务。我们的方法是建立在Swinunetr架构的基础上的,它表现出了卓越的性能,而二进制标签策略和模板匹配都相比。我们表明,tomocpt通过零弹性推断有效地将新型粒子类型推广到新颖的粒子类型,并且可以通过有限的数据进行微调来显着增强。The efficacy of tomoCPT is validated using three case studies: apoferritin, achieving a resolution of 3.0 A ˚ compared with 3.3 A ˚ using template matching, SARS-CoV-2 spike proteins on cell surfaces, yielding an 18.3 A ˚ resolution map where template matching proved unsuccessful, and rubisco molecules within carboxysomes, reaching 8.0 A ˚ resolution.这些结果证明了Tomocpt处理各种场景的能力,包括密集的环境和膜结合的蛋白质。该工具作为命令行计划的实现,再加上其微调数据要求,使其成为高通量冷冻数据处理工作流的实用解决方案。
