摘要 — 我们引入了嵌入式数据表示,即使用与数据所指的物理空间、对象和实体深度集成的数据的视觉和物理表示。轻量级无线显示器、混合现实硬件和自动驾驶汽车等技术使得在上下文中显示数据变得越来越容易。虽然研究人员和艺术家已经开始创建嵌入式数据表示,但描述和比较这些方法所需的优势、权衡,甚至语言仍未得到探索。在本文中,我们形式化了物理数据指称的概念——数据对应的现实世界实体和空间——并研究了指称与其数据的视觉和物理表示之间的关系。我们区分了情境表示,即在数据指称附近显示数据,以及嵌入式表示,即显示数据以便它在空间上与数据指称重合。借鉴可视化、普适计算和艺术领域的例子,我们探索了空间间接性、尺度和交互对于嵌入式表示的作用。我们还研究了非情境化、情境化和嵌入式数据显示之间的权衡,包括可视化和物理化。根据我们的观察,我们发现了嵌入式数据表示的各种设计挑战,并提出了未来研究和应用的机会。
DOR00002 我强烈反对在威勒尔(Wirral)释放任何绿化带土地,特别是我居住的艾尔比(Irby)。艾尔比是一个古老而成熟的乡村地区,绿化带是其中不可或缺的重要组成部分。任何利用这些绿地建造不必要的房屋的行为都是令人愤慨的。艾尔比无法使用默西铁路网,公众只能依靠途经艾尔比的一辆公交车。任何额外的住房增加都会给这个小村庄的交通、医生手术室、学校等基础设施带来巨大压力。停车场毗邻被确定为可能释放的绿化带地点之一 - Limbo Lane 和毗邻的田野。该地区有一个池塘、蝾螈(受保护物种)和其他野生动物,这些肯定会受到严重破坏。还有通行权。进入这片土地的通道非常受限,这意味着只能通过 Parkway(一条小死胡同)进入。毗邻 Thingwall Road/Thingwall Road East 的主干道是一条小路,无法应对因任何额外住房而增加的交通量。此外,近年来这条路上发生了几起严重和致命的事故,任何额外的交通量肯定会增加这种风险。我还敦促您审查 Wirral 自治市议会在 2011 年向 Peel Holdings 出售一大块土地的交易,当时 Peel Holdings 承诺建造 13,000 栋房屋。尚未建造任何房屋,议会似乎无法强迫 Peel 继续商定的房屋建设或通过强制购买收回房屋。这两种做法都可以解决政府对额外住房的需求所造成的问题。
摘要 - 可变性的绑定是象征性的和认知的基石。但是,在连接主义模型中如何实现约束力使神经科学家,认知心理学家和神经网络研究人员困惑。自然包含绑定操作的一种连接主义模型是向量符号体系结构(VSA)。与其他有关可变结合的建议相反,VSA中的结合操作是维度具有维护性的,它可以代表复杂的层次数据结构,例如树,同时避免尺寸的组合扩展。经典的VSA通过密集的随机矢量编码符号,其中信息分布在整个神经元种群中。相比之下,在大脑中,特征在单个神经元或小组神经元的活性中更局部编码,通常形成神经激活的稀疏载体。遵循Laiho等人。(2015),我们探索了符号推理,并具有稀疏分布式表示的特殊情况。使用来自压制感应的技术,我们首先表明经典VSA中的可变结合在数学上等同于稀疏特征向量之间的张量产品结合,这是另一个众所周知的结合操作,从而增加了维度。这种理论上的结果促使我们研究了二维保护的结合方法,其中包括将张量矩阵减少到单个稀疏向量中。一种通用稀疏矢量的一种结合方法使用随机投影,另一种块状圆形卷积,对于具有块结构,稀疏块编码的稀疏向量定义。我们的实验表明,块 - 本地卷积卷积结合具有理想特性,而基于随机投影的结合也有效,但是有损的。我们在示例应用中证明了具有块圆形圆形卷积和稀疏块码的VSA的性能与经典VSA相似。最后,我们在神经科学和神经网络的背景下讨论了我们的结果。
(a)主手指屈曲任务。当红十字会提示一封信时,参与者看着提示,并立即试图弯曲右手(对侧)手的相应数字。我们包括了一个无效的“ X”,在此期间,参与者看着目标,但没有移动她的手指。视觉反馈指示提示后1.5秒的解码指示。要随机化扫视位置,提示位于伪随机顺序的网格(3行,4列)上。红色十字毛被抖动,以最大程度地减少视觉阻塞。(b)混淆矩阵表现出强大的课内BCI手指控制(总体准确性86%,4016个试验在10个会话中汇总)。矩阵中的每个条目(i,j)对应于被归类为运动j的运动I试验的比率。(C-F)4个示例神经元的平均发射速率,通过尝试的手指运动对颜色编码。阴影区域表示95%的置信区间(在一个会话的试验中)。高斯平滑核(50毫秒SD)。
抽象概念表征对人类认知至关重要。尽管它们很重要,但人们对这些表征的关键属性仍然了解甚少。在这里,我们使用分布语义的计算模型来预测抽象概念激活和语境化过程中的多变量 fMRI 活动模式。我们设计了一项任务,参与者必须将抽象名词嵌入他们围绕给定背景语境开发的故事中。我们发现,下顶叶皮层中的表征是由分布语义模型中出现的概念相似性预测的。通过构建不同的模型系列,我们揭示了模型的学习轨迹,并描述了抽象和具体的训练材料如何有助于形成类似大脑的表征。这些结果为人类大脑中抽象概念表征的格式和出现提供了理论。
使用时间序列来计算每个子窗口内的连接意味着提取指标的置信区间会减小。不可避免的是,对功能性大脑连接的任何估计都只能达到给定的精度。这与所监测的特定生物信号无关,尽管某些技术(例如功能性磁共振成像 (fMRI))由于时间分辨率较低而更敏感 [ 22 ]。此外,所有连接指标都存在这个问题,这对于那些需要长时间序列的指标尤其重要,例如格兰杰因果关系 [ 6 ] 或转移熵 [ 53 ]。最后,这已被证明会对观察到的
尽管通过视觉和语言预处理取得了令人印象深刻的进步,但尚不清楚这种联合学习范式是否可以帮助理解每种单独的方式。在这项工作中,我们通过探测广泛的任务,旨在以细微的方式评估学习代表的质量,对视觉和语言模型和视觉模型进行比较分析。有趣的是,我们的经验观察表明,视觉和语言模型在标签预测任务(例如对象和属性预测)方面更好,而仅视力模型在需要更局部化的密集预测任务下更强大。我们希望我们的研究能阐明语言在视觉学习中的作用,并作为各种训练有素的模型的经验指南。代码将在https://github.com/lizw14/visual_probing上发布。
摘要:扩散策略是有条件的扩散模型,这些模型学习以机器人和环境状态为条件的机器人动作分布。他们最近显示出胜过确定性和替代作用分布学习公式的表现。3D机器人策略使用3D场景特征表示形式使用感应深度从单个或多个相机视图汇总。他们已经显示出比在相机观点之间更好地概括其2D对应物。我们统一了这两条工作和现在的3D扩散器演员,这是一种具有新颖的3D DeNoising Transformer的神经政策,它融合了来自3D视觉场景的信息,语言指令和本体感受,以预测NOISISE 3D ROBOT姿势的噪声。3D扩散器Actor在RLBench上设置了新的最先进的,其绝对性能增益比当前的SOTA在多视图设置上占据了18.1%,并且在单视图设置上的绝对增益为13.1%。在加尔文基准测试上,它比当前的SOTA相对增加了9%。它还学会了通过少数示威来控制现实世界中的机器人操纵器。通过与当前的SOTA策略和模型的消融进行彻底比较,我们显示了3D扩散器演员的设计选择极大地超过了2D表示,回归和分类目标,绝对关注和整体非言语的非言语非言语的3D场景嵌入。