。cc-by 4.0国际许可证(未经同行评审证明)获得的是作者/资助者,他已授予Biorxiv授予Biorxiv的许可,以永久显示预印本。这是该版本的版权持有人,该版本于2024年7月29日发布。 https://doi.org/10.1101/2023.02.17.528958 doi:Biorxiv Preprint
从视觉观察中学习的强化学习是许多现实世界应用的一个挑战性问题。现有算法大多依赖于需要人类知识的精心设计的固定相机的单个观察结果。最近的研究从不同的观点中学习了使用固定相机的不同观点,但这会产生高的组合和存储成本,并且可能无法保证最佳观点的覆盖范围。为了减轻这些局限性,我们提出了一种直接的视图条件,部分可观察到的马尔可夫降低过程(VPOMDPS)假设,而de-velop是一种新方法,即基于mo del的se nsor Controlle r(Moser)。Moser共同学习一个视图条件世界模型(VWM),以模拟环境,控制相机的感官政策以及完成任务的电动机政策。我们设计了带有其他模块的VWM的固有奖励,以指导感官策略以调整相机参数。关于运动和操纵任务的实验,Moser自主发现任务特定的观点并显着胜过大多数基线方法。
•AEC-Q100有资格用于汽车应用的资格: - 温度1级:–40°C至 +125°C,T A•功能安全性能 - 可用于辅助功能安全系统设计的文档•H-Bridge Smart Gate驱动程序 - 4.9V至37V至37V(40V ABS。max) operating range – Doubler charge pump for 100% PWM – Half-bridge and H-bridge control modes • Pin to pin gate driver variants – DRV8106-Q1: Half-bridge with inline amplifier – DRV8706-Q1: H-bridge with inline amplifier • Smart gate drive architecture – Adjustable slew rate control – 0.5mA to 62mA peak source current output – 0.5mA to 62mA peak sink current output – Integrated dead-time handshaking • Low-side current shunt amplifier – Adjustable gain settings (10, 20, 40, 80V/V) – Integrated feedback resistors – Adjustable PWM blanking scheme • Multiple interface options available – SPI: Detailed configuration and diagnostics – H/W: Simplified control and less MCU pins • Spread spectrum clocking for EMI reduction • Compact VQFN package with wettable flanks •综合保护功能 - 专用驱动器禁用引脚(DRVOFF) - 供应和调节器电压监视器 - MOSFET V DS过电流监视器 - MOSFET V GS GATE故障监视器 - 电荷泵逆极性MOSFET - 离线打开负载和短路负载和短路诊断 - 设备热警告和关闭警告和关闭状态 - 故障警告 - 故障销钉(nforts Intrump PIN)
构建能够从多种感官输入(例如文本、语音、视频、现实世界的传感器、可穿戴设备和医疗数据)中学习的多感官人工智能系统有望对许多科学领域产生影响并带来实际好处,例如支持人类健康和福祉、实现多媒体内容处理以及增强现实世界的自主代理。然而,多模态研究进展的广度使得很难确定该领域的共同主题和悬而未决的问题。通过综合一系列理论框架和应用领域,本论文旨在推进多模态机器学习的基础。我们首先定义多模态问题中经常出现的三个关键原则:模态异质性、连接和交互[371]。以这些原则为基础,我们提出了多模态研究中六个核心挑战的分类:表示、对齐、推理、生成、转移和量化。我们将通过这种分类法介绍最新的技术成果,使研究人员能够了解不同方法之间的异同,并确定未来研究的开放问题。本论文的主要内容涵盖了我们在解决多模态学习中的两个关键问题方面的最新进展:多模态交互的机器学习基础,以及构建可推广到现实世界中许多模态和任务的多感官基础模型的实用方法。在第一部分,我们研究多模态交互的基础:模态如何结合起来为某项任务产生新信息的基本原理。我们提出了一个理论框架,形式化了模态如何相互作用从而为某项任务产生新信息,例如从口语单词和声音表达之间的不一致中识别出的讽刺 [372]。利用这个理论框架,我们提出了两个实用的估计量来量化现实世界数据集中的交互。量化多模态任务所需的交互类型,使研究人员能够决定收集哪种模态[376],设计合适的方法来学习这些交互[374],并分析他们的模型是否成功学习[375]。在第二部分中,我们研究了实用的多模态基础模型的设计,这些模型可以推广到许多模态和任务,这为将大型语言模型应用到现实世界的感知模态迈出了一步。我们首先介绍 M ULTI B ENCH,这是一个统一的大规模基准,涵盖了广泛的模态、任务和研究领域[367]。我们还将介绍跨模态注意[101,359]和多模态变换器[613]架构,它们现在是许多当今多模态基础模型的基础。在 M ULTI B ENCH 上扩展这些架构,可以创建跨各种任务的通用多模态多任务模型,我们与实践者进行了广泛合作,将这些模型应用于情感计算、心理健康和癌症预后等现实世界的影响。我们通过讨论未来的工作如何利用这些想法实现更通用、互动性更强、更安全的多模态人工智能来结束这篇论文。
摘要 从大脑活动中解码语义意义已引起越来越多的关注。神经语言学家发现语义感知对多感官刺激是开放的,因为词义可以通过听觉和视觉输入传递。先前从神经影像数据中解码语义意义的工作主要利用跨模态刺激(即文本-音频对、文本-图片对)触发的大脑激活模式。他们的目标是开发一个更复杂的计算模型来探究语言理解行为中的哪些信息在人脑中得到体现。而大脑接收这些信息如何影响解码性能却被低估了。本研究将词语理解的多感官整合分别分离到书面文本、口头文本和图像感知中,探索大脑表征中单感官信息的解码效率和可靠性。研究结果表明,就单感觉而言,当语义以图片表示时,解码最为成功,但当同类词具有相关含义时,这种效果就会消失。这些结果揭示了大脑解码方法中的模态依赖性和多感觉增强。
Wang, J.、Brewster, S. 和 Hirskyj-Douglas, I. (2024) 动物园中的多感官技术如何塑造非人类灵长类动物与人类之间的关系。在:第 10 届动物-计算机交互国际会议 (ACI 2023),美国北卡罗来纳州,2023 年 12 月 4 日至 8 日,ISBN 9798400716560(doi:10.1145/3637882.3637902)此版本与已发布版本之间可能存在差异。如果您想引用,建议您查阅出版商的版本。版权所有 © 2023 由所有者/作者持有。这是作者的作品版本。它在此处发布供您个人使用。不得重新分发。该记录的最终版本已发表于 ACI '23:2023 年第十届动物-计算机交互国际会议论文集 https://doi.org/10.1145/3637882.3637902 https://eprints.gla.ac.uk/317671/
丝状真菌在向更可持续的食品系统过渡过程中至关重要。虽然对这些生物进行基因改造有望提高真菌食品的营养价值、感官吸引力和可扩展性,但是缺乏用于食用菌株生物工程食品生产的基因工具和实际用例。在这里,我们为米曲霉开发了一个模块化合成生物学工具包,米曲霉是一种用于发酵食品、蛋白质生产和肉类替代品的食用真菌。我们的工具包包括用于基因整合的 CRISPR-Cas9 方法、中性位点和可调启动子。我们使用这些工具来提高食用生物质中营养麦角硫因和风味及颜色分子血红素的细胞内水平。过量生产血红素的菌株呈红色,只需极少的加工即可轻松制成仿肉饼。这些发现凸显了合成生物学在增强真菌食品方面的前景,并为食品生产及其他领域的应用提供有用的遗传工具。
简介:下一代测序(NGS)和生物信息学工具的快速进步使医生可以比以往任何时候都以更快,更具成本效益和全面的方式获得基因检测结果。大约50%的小儿感官听力损失(SNHL)病例是由于遗传病因,因此医师经常使用靶向测序板,这些测序面板鉴定了与SNHL相关的基因中的变体。这些面板允许尽早检测病原变异,使医生可以为家庭提供预期的指导。分子测试并不总是由于存在不同分类的多基因变异物,包括存在不确定意义的变体(VUS),因此并不总是揭示出明显的病因。这项研究旨在在存在其他多基因变异的情况下对与II型Usher综合征相关的患者进行初步的生物信息学表征。我们还为医生提供了一种解释算法,以检查医学遗传学家的分子结果。方法:审查多基因和/或VUS结果的记录,确定了一些潜在的感兴趣主题。为了本研究的目的,两个ADGRV1化合物杂合子符合包容性标准。测序,数据处理和变体调用(从序列数据中鉴定出变体的过程)是在Invitae(San Francisco CA)上进行的。初步分析遵循美国医学遗传学与分子病理协会(ACMG-AMP)在2015年和2019年概述的建议。本研究利用计算分析,预测数据和人群数据以及Clinvar数据库中的图表审查以及公开可用信息的临床信息。结果:将两个受试者鉴定为基因ADGRV1中变体的化合物杂合子。主题1的变体被预测为有害的,而受试者2的变体被预测为无欺骗。这些结果基于Clinvar,多个计算数据,人群数据库以及临床表现的已知信息。