摘要:我们表明,通过扩展主动推理框架,可以在目的论框架中制定目标导向的行动规划和生成。所提出的模型建立在变分递归神经网络模型上,具有三个基本特征。这些特征是:(1)可以为静态感官状态(例如要达到的目标图像)和动态过程(例如围绕物体移动)指定目标;(2)该模型不仅可以生成目标导向的行动计划,还可以通过感官观察来理解目标;(3)该模型根据从过去的感官观察推断出的当前状态的最佳估计,为给定目标生成未来的行动计划。通过在模拟移动代理以及执行对象操作的真实人形机器人上进行实验来评估所提出的模型。
摘要 脑机接口 (BCI) 是一种将大脑活动转化为操作技术命令的系统。脑电图 (EEG) BCI 的常见设计依赖于 P300 事件相关电位 (ERP) 的分类,这是一种由常见非目标刺激中罕见的目标刺激引起的反应。现有的 ERP 分类器很少直接探索神经活动的潜在机制。为此,我们对 P300 ERP-BCI 设计下的多通道真实 EEG 信号的概率分布进行了新颖的贝叶斯分析。我们的目标是识别神经活动的相关时空差异,这为 P300ERP 反应提供了统计证据,并有助于设计高效、准确的个性化 BCI。作为我们对单个参与者分析的一项重要发现,视觉皮层周围通道的目标 ERP 在刺激后约 200 毫秒达到负峰值的后验概率为 90%。我们的分析确定了 BCI 拼写器的五个重要通道(PO7、PO8、Oz、P4、Cz),从而实现了 100% 的预测准确率。从对其他九名参与者的分析中,我们一致地选择了确定的五个通道,并且选择频率对带通滤波器和内核超参数的微小变化具有稳健性。本文的补充材料可在线获取。
Wei等人,《经过思考链》提示在大语言模型中引起推理,Neurips 2022。nye等人,展示您的作品:与语言模型中间计算的刮擦程序,2021。
摘要:至关重要的是要问,代理如何仅使用通过习惯性感觉运动经验获得的部分世界模型来生成行动计划,从而实现目标。尽管许多现有的机器人研究都使用了前向模型框架,但存在高自由度的泛化问题。当前的研究表明,采用生成模型的预测编码 (PC) 和主动推理 (AIF) 框架可以通过学习低维潜在状态空间中的先验分布来开发更好的泛化,该先验分布表示从习惯性感觉运动轨迹中提取的概率结构。在我们提出的模型中,学习是通过推断最佳潜在变量以及突触权重来最大化证据下限来进行的,而目标导向规划是通过推断潜在变量来最大化估计下限来完成的。我们提出的模型在模拟中使用简单和复杂的机器人任务进行了评估,通过为正则化系数设置中间值,证明了在有限的训练数据下学习中具有足够的泛化能力。此外,比较模拟结果表明,由于先验学习将运动计划的搜索限制在习惯轨迹范围内,因此所提出的模型在目标导向规划中优于传统的前向模型。
基于变压器的大语言模型(LLMS)在各种自然语言处理任务中都具有令人印象深刻的表现。为LLM推断为生成长含量而构成挑战,这是由于瞬态状态的巨大内存足迹(称为键值(KV)缓存),该状态以序列长度和批处理大小缩放。在本文中,我们提出了Infinigen,这是一种针对Longext Genertion量身定制的新型KV缓存管理框架,该框架协同与现代卸载基于卸载的推理系统合作。Infinigen利用了关键见解,即可以通过对当前层的最小彩排以及查询权重的一部分和后续层的关键缓存进行最小化的彩排来推测,对于计算变压器中后续注意力层至关重要的重要洞察力。这使我们只能预取基本的KV缓存条目(不提供所有内容),从而在基于卸载的LLM服务系统中减轻主机内存中的提取开销。我们对几种代表性LLMS的评估表明,与先前的KV高速缓存管理方法相比,Infinigen将基于现代卸载系统的总体性能提高了3.00倍,同时提供了更好的模型准确性。
摘要 - 用于空气质量的传感器的部署受到高成本的限制,导致网络覆盖不足和某些领域的数据缺陷。利用现有的观察结果,时空kriging是一种在特定时期估算未观察到位置空气质量的方法。具有增量训练策略的归纳时空kriging已证明了其使用虚拟节点模拟未观察到的节点的有效性。但是,虚拟节点和真实节点之间的差异仍然存在,这使从虚拟节点到实际未观察到的学习模式的应用变得复杂。To address these limitations, this paper presents a Physics- Guided Increment Training Strategy (PGITS).具体来说,我们设计了一个动态图生成模块,以将空气颗粒作为物理知识的对流和扩散过程纳入图形结构,并动态调整邻接矩阵以反映节点之间的物理相互作用。通过将物理原理用作虚拟节点和真实节点之间的桥梁,该策略可确保虚拟节点及其伪标签的特征更接近实际节点。Consequently, the learned patterns of virtual nodes can be applied to actual unobserved nodes for effective kriging.Index Terms —Air quality inference, sensors, inductive spatio- temporal kriging, physics principles, increment training strategy
图2。使用BERT衍生特征与(a)预测和(b)材料属性分类的模型性能比较模型性能。SMA,Ti合金和HEA的10倍MAE图与广泛的平行测试中所选特征数量(1-8)的函数相同。蓝线使用传统的经验特征(例如电负性,原子半径)表示模型性能,而红线表示BERT衍生的材料特征。检查的特性包括相变温度(MP,AP),转化焓(ΔH),屈服强度(σs),终极拉伸强度(σb),Vickers硬度(VH)和伸长率(EL)。Classification tasks include binary classification of Solid Solution (SS) vs. Non-Solid Solution (NSS), ternary classification of phase forms (Face-Centered Cubic (FCC), Body-Centered Cubic (BCC), and FCC-BCC mixed), and quaternary classification of SMA phases (B19'-B2, B19'-B19-B2, B19'-R-B2, B19-B2, and R-B2)。bert衍生的特征始终在几乎所有属性和特征数量上产生较低的预测误差,从而突出了它们捕获合金组成和属性之间内在关系的卓越能力。阴影区域代表跨平行测试的标准偏差。
由于浮点运算需要大量资源,使用传统计算范式在贝叶斯网络中实现推理(即计算后验概率)在能源、时间和空间方面效率低下。脱离传统计算系统以利用贝叶斯推理的高并行性最近引起了人们的关注,特别是在贝叶斯网络的硬件实现方面。这些努力通过利用新兴的非易失性设备,促成了从数字电路、混合信号电路到模拟电路的多种实现。已经提出了几种使用贝叶斯随机变量的随机计算架构,从类似 FPGA 的架构到交叉开关阵列等受大脑启发的架构。这篇全面的评论论文讨论了考虑不同设备、电路和架构的贝叶斯网络的不同硬件实现,以及解决现有硬件实现问题的更具未来性的概述。
