无缝的人类机器人相互作用(HRI)需要机器人对人类的多模式输入的熟练处理,包括语音,凝视和面部表情,以准确评估人类的影响并相应地提供帮助。同时,机器人必须通过多模态输出渠道清楚地将自己的意图清楚地传达给人类,包括语音,手势和凝视。传统上,在机器人系统中实现此功能通常需要复杂的设计。在意图估计的领域中,以前的研究通常合并意图识别模块,以基于多模式输入[3,17]对人类意图进行分类。一些系统还具有用于检测人类情感状态的专用模块,对于建立社会细微差别的互动至关重要[10,16,18]。但是,这些方法的缺点在于它们耗时且昂贵的培训过程。在输出方面,许多先前的系统集成了情绪状态[8,11]模块,以控制人形输出提示,例如音调,凝视或面部表情,增强了向人类反馈的透明度和生动性。关于运动产生,提出了多种方法,包括预先建立的运动集的混合和图表[19,25],以及使用运动捕获数据[5,9,15]。值得注意的是,这涉及与特定状态相关的每种输出模式的动作手动设计。通过利用文本理解,推理和计划的能力,在短时间内提出了许多机器人应用[7,12,14,20,21,28]。例如,Zhang等人。大型语言模型(LLM)的最新进展,诸如聊天机器人,数据过程和代码生成之类的域中的表现令人印象深刻的功能正在揭示其在机器人技术领域的潜在应用。其中一个通常的例子是“ Saycan”机器人[1],它能够解释人的自然语言命令,分析环境并生成具体的可执行操作序列,以通过使用LLMS来满足人类的要求。但是,机器人和人之间的互动提示仅限于语音命令,即使没有语音输出。最近,一些研究人员还试图将这种技术应用于HRI领域。利用LLM来估计人类有多少信任机器人[30]; Yoshida等人,使用LLMS生成低级控制命令来推动人形机器人运动以进行社会表达[29],而不是用于实践援助。Baermann等人,部署了LLM不仅遵循人类的言语命令,而且还通过人类的自然语言反馈来纠正其错误[2]。然而,通信主要依赖语音相互作用,而较少关注多模式感应和表达能力。ye等。[27]驱动了一个LLM驱动的机器人系统,该系统能够与人类在VR环境中的组装任务中合作。,但是该系统仅限于处理人类语言输入并控制虚拟空间中的单臂。通常,与快速
联系方式:马丁·韦切夫教授,苏黎世联邦理工学院,瑞士,silq@inf.ethz.ch 背景:最近的努力已经将量子计算机改进到可以在某些任务上超越传统计算机的程度,这种情况被称为量子霸权。量子计算机运行量子算法,通常用低级量子语言 Silq 表示。我们发布了 Silq,这是第一种旨在从量子算法的低级实现细节中抽象出来的高级量子语言。Silq 在 GitHub(https://github.com/eth-sri/silq)上公开可用,并根据免费开源 Boost 软件许可证 1.0 获得许可。作为一项关键的创新,Silq 有助于弥合经典语言和量子语言之间的概念差距。因此,Silq (i) 降低了非专业量子程序员的入门门槛,(ii) 通常有助于简洁明了地表达复杂算法,以及 (iii) 促进了 50 多年来为传统计算开发的编程和分析技术向量子编程领域的技术转移。比较。虽然传统上量子算法通常以电路的形式指定,但量子语言更方便地将量子算法表达为源代码。然而,现有的量子语言迫使程序员在较低的抽象层次上工作,仍然本质上指定将量子操作明确应用于单个量子位的量子电路。因此,用这些语言实现量子算法是繁琐且容易出错的。相比之下,Silq 支持对量子算法的描述性视图,表达了程序员的高级意图。然后,将这些算法编译成低级量子电路成为二阶关注点,可以由专门的编译器处理,就像在传统编程语言中一样。我们的实验评估表明,Silq 程序比其他量子语言中的等效程序短得多(Q# 平均缩短 46%,Quipper 缩短 38%),同时仅使用一半的量子原语。因此,Silq 程序不仅更短,而且更易于读写,因为它们需要的原语和概念更少。大部分评估都集中在 Q# 上,因为 (i) 它是使用最广泛的量子语言之一,(ii) 我们认为它比 Cirq 或 QisKit 更高级,(iii) 2018 年和 2019 年的 Q# 编码竞赛提供了大量 Q# 实现,我们可以利用它们进行比较。
Robert D. Fish(R.Fish@imperial.ac.uk)隶属于杜勒尔保护与生态研究所,位于肯特大学,英国坎特伯雷,英国坎特伯雷和英国伦敦帝国学院的环境政策中心,在英国伦敦,英国,英国伦敦。 Gail E. Austen,Jacob W. Bentley,Jessica C. Fisher,Phoebe R. Bentley和Zoe G. Davies(Z.G.Davies@kent.ac.uk)隶属于迪尔雷尔保护与生态研究所,位于肯特大学,位于肯特大学,位于肯特大学的英国坎特伯里大学,在英国,英国,英国国王。 马丁·达利默(Martin Dallimer)隶属于可持续发展研究所,地球与环境学院,利兹大学,英国利兹大学,英国,英国和环境政策中心,伦敦帝国学院,英国伦敦伦敦帝国学院。 Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会,经济和地理科学系。 Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所,英国坎特伯雷,英国坎特伯雷,挪威奥斯陆的挪威水研究所。Robert D. Fish(R.Fish@imperial.ac.uk)隶属于杜勒尔保护与生态研究所,位于肯特大学,英国坎特伯雷,英国坎特伯雷和英国伦敦帝国学院的环境政策中心,在英国伦敦,英国,英国伦敦。Gail E. Austen,Jacob W. Bentley,Jessica C. Fisher,Phoebe R. Bentley和Zoe G. Davies(Z.G.Davies@kent.ac.uk)隶属于迪尔雷尔保护与生态研究所,位于肯特大学,位于肯特大学,位于肯特大学的英国坎特伯里大学,在英国,英国,英国国王。马丁·达利默(Martin Dallimer)隶属于可持续发展研究所,地球与环境学院,利兹大学,英国利兹大学,英国,英国和环境政策中心,伦敦帝国学院,英国伦敦伦敦帝国学院。Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会,经济和地理科学系。Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所,英国坎特伯雷,英国坎特伯雷,挪威奥斯陆的挪威水研究所。
摘要 - 将神经梯度体系结构(NGA)集成到大语言模型(LLMS)中,导致了自然语言处理的明显进步,从而增强了生成文本的精确性和相干性。通过采用梯度驱动的计算,NGA根据上下文提示动态调整内部途径,从而使LLMS能够更有效地适应各种语言任务。这种方法证明了在上下文理解至关重要的情况下,诸如机器翻译,摘要和对话生成等任务的改进。NGA的融合也有助于减少常见问题(例如重复性或无关的产出),从而提高了生成内容的总体质量。此外,NGA的适应性允许在各个领域对LLM进行更有效的微调,从而促进了其在专业领域的应用,而无需大量的重新培训。经验结果表明,NGA在完善LLM的生成过程中的功效,强调了其大大提高自然语言处理系统性能的潜力。因此,NGA的采用代表了LLM体系结构演变中的关键进展,为开发更响应敏感和上下文意识到的语言模型提供了强大的框架。
摘要。视觉语言预处理(VLP)模型已在众多计算机视觉应用中被证明。在本文中,我们基于图像扫描和电子健康记录中的文本介绍,为医疗领域开发VLP模型,以促进计算机辅助诊断(CAD)。为了实现这一目标,我们介绍了MedBlip,这是一种轻巧的CAD系统,该系统启动了从架子冻结的预训练的图像编码器和大型语言模型中启动VLP。我们合并了一个MEDQFormer模块,以弥合3D医学图像和2D预训练的图像编码器和语言模型之间的差距。为了评估MEDBLIP的有效性,我们从五个公共阿尔茨海默氏病(AD)数据集中收集了30,000多个图像量:ADNI,NACC,OASIS,OASIS,AIBL和MIRIAD。在这个大规模的广告集中,我们的模型在健康,轻度认知障碍(MCI)和AD主题的零摄像分类中表现出了令人印象深刻的表现,并且还显示了其在M3D-VQA-AD数据集中的医学视觉问题An-Swering(VQA)中的能力。代码和预训练模型可在https://github.com/qybc/medblip上找到。
好:这是一个非常严重的问题。研究表明,由于整个刑事司法系统中的系统性种族偏见,黑人和棕色的人,尤其是男人,与白人相比,与白人相比,被囚禁不成比例。
• 鼓励学生利用技术,包括生成式 AI 工具,来加深对课程材料的理解。• 学生可以在本课程中使用人工智能工具(包括生成式 AI)作为学习辅助工具或帮助完成作业。但是,学生最终要对他们提交的作业负责。• 学生必须将人工智能工具生成的任何内容以及用于生成内容的提示作为作业的附录提交。• 人工智能工具生成的任何内容都必须适当引用。许多发布标准引用格式的组织现在提供有关引用生成式 AI 的信息(例如 MLA:https://style.mla.org/citing-generative-ai/ )。• 学生可以选择在完成本课程的作业时使用生成式 AI 工具;此用途必须记录在每个作业的附录中。文档应包括使用了哪些工具、如何使用它们以及如何将 AI 的结果纳入提交的作品中。
通过预训练的视觉模型进行测试时间适应,引起了越来越多的关注,以应对测试时间的分离转移。尽管事先实现了非常有前途的性能,但它们会进行密集的计算,这与测试时间适应非常不规则。我们设计了TDA,这是一种无训练的动态适配器,可通过视觉模型进行有效,有效的测试时间适应。tda可与轻巧的键值缓存一起使用,该缓存维持具有很少射击伪标签的dy-namic队列作为值,而相应的测试样本特征则是键。杠杆键值缓存,TDA允许通过渐进式伪标签的细化逐渐调整数据,而逐步测试数据,而不会产生任何反向传播。此外,我们引入了负伪标记,即当模型不确定其伪标签预测时,通过将伪标签分配给某些负类时,可以减轻伪标签噪声的不利影响。在两个基准上进行的广泛实验表明,与最先进的艺术品相比,TDA的实体有效性和效率。该代码已在https://kdiaaa.github.io/tda/中发布。
