重要的推理任务(例如计划)从根本上是算法,这意味着解决这些任务需要牢固地诱导基本算法,而不是捷径。大语言模型由于神经网络优化算法,其优化数据和优化目标的局限性而缺乏真正的算法能力,但也由于变压器体系结构的不表现性。为了解决这种缺乏算法能力,我们的论文提出了使用内部推理模块增强LLMS。该模块包含一个基本操作和复杂的可区分程序的库,因此不需要从头开始学习通用算法。为了实现这一目标,我们将内存,寄存器,基本操作和自适应复发添加到基于Llama3.2的十亿参数变形金刚体系结构中。然后,我们定义了一种将算法直接编译为可区分的启动液体的方法,该算法本地使用并传播梯度以进行优化。在本文中,我们通过对具有可变计算深度的简单算法任务进行增强的Llama 3.2来研究这种增强的可行性,例如递归纤维纤维算法算法或插入。
摘要 - 近年来,软机器人模拟器已经发展为提供各种功能,包括不同材料类型(例如弹性,超弹性)和驱动方法(例如,气动,电缆驱动,伺服运动)的模拟。这些模拟器还为各种任务(例如校准,设计和控制)提供工具。但是,在这些模拟器中有效,准确地计算衍生物仍然是一个挑战,尤其是在存在物理接触相互作用的情况下。结合这些衍生物可以显着提高控制方法的收敛速度,例如增强学习和轨迹优化,启用基于梯度的设计技术,或促进端到端的机器学习方法以减少模型。本文通过引入一种统一的方法来解决这些挑战,以计算有限元方法框架中的机械方程的衍生物,包括模拟为非线性互补性问题的触点交互。所提出的方法处理碰撞和摩擦阶段,解释其非平滑动力学,并利用基于网格的模型引入的稀疏性。通过几个控制和校准软系统的示例来证明其有效性。关键字:软动物模拟,可区分的物理,可区分优化,非平滑动力学。
自发参量下转换 (SPDC) 在生成纯净且不可区分的单光子方面显示出巨大的潜力。块体晶体中产生的光子对在横向空间和频率方面高度相关。这些相关性限制了光子的不可区分性并导致光子源效率低下。人们已经探索了具有高斯非线性响应的域工程晶体以最大限度地降低光谱相关性。在这里,我们研究了这种域工程对产生的光子的空间相关性的影响。我们表明,具有高斯非线性响应的晶体会降低光子之间的空间相关性。然而,高斯非线性响应不足以完全消除空间相关性。因此,开发一种全面的方法来最大限度地降低这些相关性仍然是一个悬而未决的挑战。我们对这个问题的解决方案涉及同时设计泵浦光束和晶体。我们在没有任何空间滤波的情况下实现了高达 99% 的单光子态纯度。我们的发现为结构化 SPDC 晶体中产生的空间波形提供了宝贵的见解,对玻色子采样等应用具有重要意义。
人们认为睡眠期间的记忆再激活有助于记忆巩固。大多数睡眠再激活研究都研究了特定事实、物体和联想的再激活如何有利于整体记忆。然而,我们的记忆并不是单一的,记忆的所有特征也并非随着时间的推移而同时存在。相反,我们的记忆会发生转变,一些特征会得到加强,而另一些特征会减弱。睡眠再激活会推动记忆转变吗?我们利用目标记忆再激活技术在对象类别学习范式中研究了这个问题。参与者(20 名女性,14 名男性)学习了三类新物体,其中每个物体都有独特的、可区分的特征以及与其类别其他成员共享的特征。我们使用实时 EEG 协议在优化以产生再激活事件的时刻提示睡眠期间这些物体的再激活。我们发现,再激活会改善对可区分特征的记忆,同时恶化对共享特征的记忆,这表明存在分化过程。结果表明,睡眠再激活并不会对物体记忆产生整体作用,而是支持某些特征比其他特征得到增强的转变。
相对于在模型输出上定义的某些可区分的度量标准的潜伏模型的潜在和参数的优化是一个具有挑战性且复杂的问题。通过求解概率流ode或扩散SDE来完成扩散模型的采样,其中神经网络近似得分函数,允许使用数值ode/sde求解器。但是,幼稚的反向传播技术是内存密集的,需要所有中间状态的存储,并且在处理扩散SDE扩散项的注入噪声时面临额外的复杂性。我们向扩散模型的连续伴随方程提出了一个新型的定制ode求解器家族,我们称之为相邻。我们利用扩散SDE的唯一构建,以进一步简化使用指数积分器的连续伴随方程的制定。此外,我们为定制求解器提供收敛订单保证。显着,我们表明,扩散SDE的连续伴随方程实际上简化为简单的ODE。最后,我们以面部变形问题的形式以对抗性发作的形式证明了相邻生成的有效性。我们的代码将在https://github.com/zblasingame/adjointdeis上发布。
摘要。最近,3D高斯脱衣舞(3D-GS)在新型视图综合中广受欢迎。它解决了与神经辐射场(NERFS)相关的冗长训练时间和缓慢的渲染速度的挑战。通过3D高斯人的快速,可区分的栅格化,3D-GS实现了实时重新定位和加速训练。但是,他们需要训练和存储的大量记忆,因为它们需要数百万高斯人在每个场景的云云表示中。我们提出了一种利用量化嵌入的技术,可以显着减少每点存储器存储的需求,并采用粗到最佳的训练策略,以更快,更稳定的优化高斯点云。我们的方法发展了一个修剪阶段,从而导致场景表现形式减少,从而导致更快的训练时间和渲染速度,以实时渲染高分辨率场景。在保留重建质量的同时,我们将存储记忆降低了超过一个数量级。我们验证方法在保留视觉质量的各种数据集和场景上的有效性,同时消耗10-20×较小的内存和更快的训练/推理速度。项目页面和代码可在此处提供。
设计域特定的神经网络是一项耗时,容易出错且昂贵的任务。神经体系结构搜索(NAS),以简化特定于域的模型开发,但在微控制器上进行时间分类的文献存在差距。因此,我们调整了可区分的神经修道搜索搜索(DNA)的概念,以解决有关资源约束的Mi-Crocontrollers(MCUS)的时间序列分类问题。我们介绍了Micronas,这是DNA,延迟查找表,动态音量和专门针对MCUS时序列分类设计的新颖搜索空间的DNA,延迟查找表,动态结合表和新颖的搜索空间的Micronas。所得系统是硬件感知的,可以生成满足用户定义的执行延迟和峰值内存消耗的限制的神经网络体系结构。我们在不同的MCUS和标准基准数据集上进行的广泛研究表明,Micronas找到了达到性能的MCU量身定制的体系结构(F1得分),附近是最先进的桌面模型。我们还表明,与独立于域的NAS基准(如DARTS)相比,我们的方法在遵守记忆和潜伏期限制方面具有优越性。
摘要 - 可推广的感知是太空机器人技术中高级自治的支柱之一。估计动态环境中未知对象的结构和运动对于此类自主系统至关重要。传统上,解决方案依赖于目标对象的先验知识,多个不同的表示或不适合机器人操作的低保真输出。这项工作提出了一种新颖的方法,可以使用统一表示形式来逐步重建和跟踪动态未知对象 - 一组3D高斯斑点,描述了其几何形状和外观。可区分的3DGS框架适合以动态对象设置。管道的输入是一组顺序的RGB-D图像。3D重建和6-DOF姿势跟踪任务是使用基于一阶梯度的优化来解决的。该公式很简单,不需要预训练,不假定对对象或其运动的先验知识,并且适合在线应用程序。在任意相对运动下的10个未知航天器的数据集中验证了所提出的方法。实验表明,在短期到中持续时间内,目标对象的成功3D重建和准确的6-DOF跟踪。讨论了跟踪漂移的原因,并概述了潜在的解决方案。
科学发现和工程设计目前受到物理实验的时间和成本的限制,主要是通过需要深入域专业知识的反复试验和直觉选择。数值模拟是物理实验的替代方法,但由于现有数值方法的计算要求,通常对于复杂的现实世界域而言是不可行的。人工智能(AI)通过开发快速数据驱动的替代模型来提出潜在的范式转移。尤其是一个称为神经操作员的AI框架提出了一个原则上的框架,用于在连续域上定义的功能之间学习映射,例如时空过程和部分微分方程(PDE)。他们可以在训练期间看不见的新位置推断和预测解决方案,即执行零拍的超分辨率。神经操作员可以在许多应用中增强甚至替换现有的模拟器,例如计算流体动力学,天气预报和材料模型,而速度更快4-5个数量级。此外,可以将神经操作员与物理和其他领域的约束集成在一起,以获得更高的重点,以获得高保真的解决方案和良好的概括。由于神经操作员是可区分的,因此他们可以直接优化用于反设计和其他反问题的参数。我们认为,神经操作员提出了一种变革性的模拟和设计方法,从而可以快速的研发。
摘要。胶质母细胞瘤是一种高度侵略性的脑肿瘤,由于预后不良和发病率高,构成了重大挑战。偏微分方程的模型通过模拟患者特异性肿瘤行为来改善放射疗法计划,提供了有希望的潜力来增强治疗结果。但是,由于蒙特卡洛采样和进化算法等优化方法的高计算授权,模型校准仍然是瓶颈。为了解决这个问题,我们最近引入了一种方法,该方法利用了具有基于梯度的优化的神经向前求解器,以显着减少校准时间。此方法需要高度准确且完全可区分的远期模型。我们研究了多个架构,包括(i)增强的肿瘤,(ii)修饰的NNU-NET和(iii)3D Vision Transformer(VIT)。优化的肿瘤酸盐取得了最佳的总体结果,在肿瘤轮廓匹配和体素级别的肿瘤级预测中都表现出色。它相对于基线模型减半,并在所有肿瘤细胞浓度阈值中达到了最高的骰子得分。我们的研究表明,向前求解器绩效的提高,并概述了重要的未来研究方向。我们的源代码可在https://github.com/zeinebzh/ tumornetsolvers