摘要 我们考虑仅在线性有序替代方案集的子集上表现出单峰性的域。我们将此类域称为部分单峰域,并对这些域上的一致和策略证明社会选择函数进行了表征。我们获得了以下有趣的辅助结果:(i)我们表征了广义顶连通域上的所有一致和策略证明社会选择函数,广义顶连通域是最大单峰域的重要子类,(ii)我们表明策略证明性和群体策略证明性在部分单峰域上是等价的,(iii)最后,我们识别并表征接近匿名的部分单峰域上的一致和策略证明的 SCF。作为这一结果的应用,我们获得了多峰域(Stiglitz (1974)、Epple 和 Romano (1996a))、多个单峰域(Reffgen (2015))和图上的单峰域(Demange (1982)、Schummer 和 Vohra (2002))上的一致和策略证明的社会选择函数的特征。
尽管通过视觉和语言预处理取得了令人印象深刻的进步,但尚不清楚这种联合学习范式是否可以帮助理解每种单独的方式。在这项工作中,我们通过探测广泛的任务,旨在以细微的方式评估学习代表的质量,对视觉和语言模型和视觉模型进行比较分析。有趣的是,我们的经验观察表明,视觉和语言模型在标签预测任务(例如对象和属性预测)方面更好,而仅视力模型在需要更局部化的密集预测任务下更强大。我们希望我们的研究能阐明语言在视觉学习中的作用,并作为各种训练有素的模型的经验指南。代码将在https://github.com/lizw14/visual_probing上发布。
最先进的基于深度学习的立体匹配方法将视差估计视为一个回归问题,其中损失函数直接定义在真实视差及其估计视差上。然而,视差只是由成本量建模的匹配过程的副产品,而间接学习由视差回归驱动的成本量容易出现过度拟合,因为成本量受到约束。在本文中,我们提出直接向成本量添加约束,方法是用在真实视差处达到峰值的单峰分布过滤成本量。此外,估计每个像素的单峰分布的方差,以明确模拟不同环境下的匹配不确定性。所提出的架构在 Scene Flow 和两个 KITTI 立体基准上实现了最先进的性能。具体来说,我们的方法在 KITTI 2012 评估中排名第一,在 KITTI 2015 评估中排名第四(记录于 2019.8.20)。AcfNet 的代码可以在以下位置找到:https://github.com/youmi-zym/AcfNet。
现实世界中的交流本质上是多模态的。在交谈时,视力正常和听力正常的人们通常使用听觉和视觉线索来理解对方。例如,物体在空间中移动时可能会发出声音,或者我们可以使用一个人的嘴巴运动来更好地理解他们在嘈杂的环境中所说的话。尽管如此,许多神经科学实验仍依赖单模态刺激来了解大脑中感官特征的编码。因此,在自然环境中,视觉信息对听觉信息编码的影响程度以及反之亦然尚不清楚。在这里,我们通过记录 11 名受试者在视听 (AV)、仅视觉 (V) 和仅音频 (A) 条件下收听和观看电影预告片时的头皮脑电图 (EEG) 来解决这个问题。然后,我们拟合线性编码模型,描述大脑反应与刺激中的声学、语音和视觉信息之间的关系。我们还比较了当刺激以原始 AV 格式呈现时和当删除视觉或听觉信息时,听觉和视觉特征调谐是否相同。在这些刺激中,视觉和听觉信息相对不相关,包括场景中的口头叙述以及动画或真人角色在有脸和无脸的情况下说话。对于这种刺激,我们发现在 AV 和仅 A 条件下听觉特征调谐相似,同样,当呈现刺激时有音频(AV)和删除音频(仅 V)时视觉信息的调谐也相似。在交叉预测分析中,我们调查了在 AV 数据上训练的模型是否能与在单峰数据上训练的模型类似地预测对 A 或 V 测试数据的响应。总体而言,使用 AV 训练和 V 测试集的预测性能与使用 V 训练和 V 测试集的预测性能相似,这表明听觉信息对 EEG 的影响相对较小。相比之下,使用 AV 训练和仅 A 测试集的预测性能略差于使用匹配的仅 A 训练和仅 A 测试集。这表明视觉信息对 EEG 的影响更大,尽管这在衍生特征调整中没有质的差异。实际上,我们的结果表明研究人员可能会受益于多模态数据集的丰富性,然后可以使用这些数据集来回答多个研究问题。
摘要 - 目的:riemannian几何形状用于脑部计算机界面(BCIS)已在纪念百年中获得了动力。针对Riemannian BCIS提出的大多数机器学习技术都会考虑一个人的数据分布是单峰的。但是,由于高数据可变性是脑电图(EEG)的关键限制,因此该分布可能是多模式的,而不是单峰。在本文中,我们提出了一种新型的数据建模方法,用于考虑在EEG协方差矩阵的Riemannian歧管上考虑复杂的数据分布,旨在提高BCI可靠性。方法:我们的方法,riemannian光谱聚类(RISC),代表使用基于地质距离提出的模拟测量的图形上的eeg协方差矩阵分布,然后通过光谱群集将图形节点组成。这允许在歧管上建模单峰和多模式分布。RISC可以用作设计名为Outier检测的离群检测器Riemannian光谱聚类(ODEN-RISC)和名为多模式的多模式分类器Riemannian Spectral spectral clustering(MCRISC)的基础。以数据驱动方式选择Odenrisc/Mcrisc的所有必需参数。越过,无需预先设置离群检测的阈值和多模式分类的模式的数量。结果:实验评估表明,与现有方法相比,Odenrisc可以更准确地检测EEG异常值,而Mcrisc进行了标准的单峰分类器,尤其是在高变异性数据集上。结论:预计Odenrisc/Mcrisc将有助于使现实生活中的BCI在实验室外和神经学应用程序外应用更强大。明显:RISC可以用作强大的EEG Outier检测器和多模式分类器。
基础模型(FMS)从大量未标记的数据中学习,以在各种任务中表现出卓越的性能。然而,用于生物医学结构域的FMS基本上仍然是单峰的,即单独使用蛋白质序列,单独的小分子结构或单独临床数据的独立训练和用于任务。为了克服这一限制,我们提出了一个参数有效的学习框架BioBridge,以桥接经过独立训练的单峰FMS以建立多模态行为。BioBridge通过利用知识图(kg)来学习一个单型FM和另一个单模式之间的变换,而无需微调任何基本的单峰FMS。我们的结果表明,BioBridge可以击败最佳的基线KG嵌入方法(平均约为76。3%)在跨模式检索任务中。我们还确定了Biobridge通过推断出未见的方式或关系来证明跨域的概括能力。此外,我们还表明,Biobridge将自己表现为一种通用检索器,可以帮助生物医学多模式问答,并增强了引导的新型新药。1
图2:左:在交叉环境中的不同场景的描述,代理控制银色汽车。两辆汽车都同时进入交叉路口,但是代理商不知道迎面而来的绿色汽车是向左转(左图)还是向右转(右图)。如果代理商太快地驱动到交叉路口,则可能会发生碰撞。右:学识渊博的(单峰)模型和地面真相分布p(− y s +1 | s t,a t),其中s t =(2,0,2,0),动作是要加速。在最大似然训练后,单峰模型错误地将大概率质量放在状态空间的不切实际区域。歧视器产生重要的权重(黑色箭头,日志刻度),使模型在不切实际的区域中的样本下降。
在高温下,固定分布变得更好(接近单峰),因此采样更容易。在𝜏 = 1时,采样更难,但是𝜏表示𝜏的逐渐减小𝑝𝑝逐渐变化,因此退火使我们最终可以从𝑝1中采样。
摘要在成年人中,视听语音的整合与对单性刺激的响应相比,具有特定的更高(超源)或较低(次级)皮质反应。有证据表明,在婴儿期的视听语音感知期间,额快的净工作是活跃的,但对音频视觉整合的额叶响应的发展仍然未知。在当前的研究中,5个月大的孩子和10个月大的人观看了双峰(视听)和交替的单峰(听觉 +视觉)音节。在这种情况下,我们使用交替的单形式表示成人视为单独的音节的交替听觉和视觉音节。使用FNIRS,我们测量了在大型皮质区域的反应,包括下额叶和上等颞区。我们鉴定出与单峰条件和使用多变量模式分析(MVPA)的交替响应不同的通道,以解释对双峰(视听)(视听)的皮质反应的PAT terns和交替的单峰(听觉 +视觉)语音。结果表明,在两个年龄组中,整合都会引起与额颞皮质中超级和亚添加反应一致的皮质反应。单变量分析表明,这些响应的空间分布在5到10个月之间变得越来越多。MVPA在5个月时正确分类的响应,其键输入位于右半球的下额叶和上等颞通道中。然而,MVPA分类在10个月时并未成功,这表明在这个时代,可能对视听语音感知进行了皮质重新组织。这些结果表明,在婴儿期一致性视听语音整合的皮质反应的复杂和非毕业生发展。