大型视觉模型的发展,无明显的剪辑,已经催化了对有效适应技术的研究,特别着眼于软及时调整。联合使用,使用单个图像的多个增强视图来增强零击的概括,它正在成为互动的重要领域。这主要指导研究工作,以进行测试时间及时调整。相比之下,我们为t estime a u Megentation(MTA)引入了强大的m eanshift,该方法超过了基于及时的方法而无需进行此类训练程序。这将MTA定位为独立和基于API的应用程序的理想解决方案。此外,我们的方法不依赖于某些先前测试时间augting技术中使用的临时规则(例如,置信度阈值)来过滤增强视图。相反,MTA将每种视图的质量评估变量直接纳入其优化过程,称为inllielness评分。该分数通过寻求过程进行了共同优化,从而导致有效的训练和无参数方法。我们在15个数据集上广泛地标记了我们的方法,并演示了MTA的优势和计算效率。在零摄像机模型和最先进的几种方法的顶部轻松部署为插件模块,MTA显示了系统的和一致的改进。
本文内容(插入演示文稿、文章、视频等)是根据联邦教育部与堪萨斯州教育部达成的协议开发的。但是,这些内容不一定代表教育部的政策,您不应认为这些内容已获得堪萨斯州教育部或联邦政府的认可。TASN 自闭症和高等教育行为支持由堪萨斯州教育部特殊教育和职称服务部管理的 B 部分资金资助。TASN 自闭症和高等教育行为支持在其计划和活动中不会因种族、肤色、国籍、性别、残疾或年龄而歧视任何人。以下人员已被指定处理有关非歧视政策的问询:Keystone Learning Services 副主任,500 E. Sunflower,Ozawkie KS 66070,785.876.2214 12/16/21
摘要 - 电解图(EEG)的间/受主体内变异性使脑计算机界面(BCI)的实际使用很难。通常,BCI系统需要一个校准程序来获取主题/会话特定数据,以每次使用系统时调整模型。这个问题被认为是BCI的主要障碍,并克服它,基于域概括(DG)的方法最近出现了。本文的主要目的是重新考虑如何从DG任务的角度克服BCI的零校准问题。就现实情况而言,我们专注于创建一个脑电图分类框架,该框架可以直接在看不见的会话中应用,仅使用先前获得的多主题/ - 主题/ - 主题。因此,在本文中,我们通过休假一项验证测试了四个深度学习模型和四种DG算法。我们的实验表明,更深层次的模型在跨课程的概括性能中有效。此外,我们发现任何明确的DG算法都不优于经验风险最小化。最后,通过使用特定于特定数据进行调查的结果进行比较,我们发现特定于特定的数据可能会由于会议变异性而导致的,从而使未见的会话分类性能恶化。关键字 - 大脑 - 计算机接口;深度学习;电气图;运动图像;域概括
内在学习(ICL)是一种提示,其中变压器模型以(输入,输出)示例的序列运行,并在当时进行分解。在这项工作中,我们将上下文学习形式化为一种算法学习问题,其中变压器模型在推理时间内隐含构建了假设函数。我们首先通过多任务学习的镜头探索了该抽象的统计方面:当输入提示为(1)I.I.D的顺序时,我们会对ICL进行概括。(输入,标签)对或(2)由动态系统产生的轨迹。我们的分析的症结是将多余的风险与变压器所影响的算法的稳定性有关。我们表征了当变压器/注意体系结构可证明遵守稳定性条件并提供示例验证时。对于对看不见的任务的概括,我们确定了一种归纳偏见现象,其中转移学习风险受任务复杂性和MTL任务的数量的控制。最后,我们提出了数值评估,即(1)证明了变形金刚确实可以在I.I.D的经典回归问题上实施近乎最佳的算法。和动态数据,(2)提供有关稳定性的见解,(3)验证我们的理论预测。
摘要 - 在算法选择研究中,围绕算法特征的讨论被对问题特征的重点显着掩盖了。尽管一些实证研究已经提供了有关算法特征有效性的证据,但是将算法特征纳入算法选择模型的潜在好处,并且对不同场景的适用性尚不清楚。在本文中,我们通过提出基于算法功能的算法选择的第一个可证明的保证来解决这一差距,从而采用概括性的观点。我们分析与算法特征相关的收益和成本,并研究概括误差如何受到不同因素的影响。具体而言,我们分别检查了在转导和感应学习范式下的自适应和预定义算法特征,并根据模型的Rademacher复杂性得出了概括误差的上限。我们的理论发现不仅提供了紧密的上限,而且还提供了有关各种因素的影响的分析见解,例如问题实例的训练量表和候选算法,模型参数,特征值以及培训数据和测试数据之间的分布差异。值得注意的是,我们证明了模型如何从涉及许多算法的复杂场景中受益于算法特征,并证明了分布的概括误差与χ2差异之间的正相关。
我们通过概括的镜头研究目标条件的RL,但不是从传统的随机增强和域随机化的意义上。相反,我们旨在学习针对地平线的概括的目标指导的政策:在训练以实现附近的目标(这很容易学习)之后,这些政策应该成功实现遥远的目标(这是非常具有挑战性的学习)。In the same way that invariance is closely linked with generalization is other areas of machine learning (e.g., normalization layers make a network invariant to scale, and therefore generalize to inputs of varying scales), we show that this notion of horizon generalization is closely linked with invariance to planning: a policy navigating towards a goal will select the same actions as if it were navigating to a waypoint en route to that goal.因此,经过培训的实现附近目标的政策应成功实现任意途中的目标。我们的理论分析证明,在某些假设下,视野概括和计划不变性都是可能的。我们提出了新的实验结果,并从先前的工作中回忆起,以支持我们的理论结果。综上所述,我们的结果为研究在机器学习的其他领域开发的不变性和概括技术的方式可能会适应以实现这种诱人的属性。
人类和动物擅长从有限的数据中进行泛化,这种能力尚未被人工智能完全复制。本视角研究生物和人工深度神经网络 (DNN) 在分布内和分布外环境下的泛化能力。我们提出两个假设:首先,与离散认知实体(如物体、词语和概念)相关的神经流形的几何性质是强大的序参量。它们将神经基础与泛化能力联系起来,并提供一种统一的方法论来弥合神经科学、机器学习和认知科学之间的差距。我们概述了神经流形几何研究的最新进展,特别是在视觉物体识别方面,并讨论了将流形维数和半径与泛化能力联系起来的理论。其次,我们认为广度 DNN 的学习理论,尤其是在热力学极限下的学习理论,为生成所需神经表征几何和泛化的学习过程提供了机制上的见解。这包括权重范数正则化、网络架构和超参数的作用。我们将探讨该理论的最新进展和持续面临的挑战。我们还将讨论学习的动态及其与大脑表征漂移问题的相关性。
洛斯阿拉莫斯国家实验室是一家采取平权行动/提供平等机会的雇主,由 Triad National Security, LLC 为美国能源部国家核安全局运营,合同编号为 89233218CNA000001。通过批准本文,出版商承认美国政府保留非独占的、免版税的许可,可以为了美国政府的目的出版或复制本文的已发表形式,或允许他人这样做。洛斯阿拉莫斯国家实验室要求出版商将本文注明为在美国能源部的支持下完成的工作。洛斯阿拉莫斯国家实验室坚决支持学术自由和研究人员的发表权利;但是,作为一个机构,实验室并不认可出版物的观点,也不保证其技术上的正确性。