根据具身理论(包括具身、嵌入、扩展、演绎、情境和扎根认知方法),语言表征与我们与周围世界的互动有着内在联系,这反映在语言处理和学习过程中的特定大脑特征中。从具身理论与非模态理论的原始竞争开始,这篇共识论文讨论了一系列精心挑选的问题,旨在确定运动和感知过程何时以及如何参与语言过程,而不是是否参与。我们的研究领域非常广泛,从具身语义的神经生理特征(例如事件相关电位和场以及神经振荡)到语义处理和语义启动对具体和抽象词的影响,到第一和第二语言学习,最后,使用虚拟现实来检查具身语义。我们的共同目标是更好地理解运动和感知过程在语言理解和学习所代表的语言表征中的作用。我们达成共识,基于该领域开展的开创性研究,未来的发展方向是通过承认具体和情境语言和语义过程的多模态性、多维性、灵活性和特质来提高研究结果的外部有效性。
语言处理受感觉运动体验的影响。在这里,我们回顾了语言处理中体现和扎根影响的行为证据,这些影响涵盖六个语言粒度级别。我们研究 (a) 子词特征,讨论扎根对图像性(词形和含义之间的系统关联)的影响;(b) 单词,讨论模拟颜色、感觉模态和空间位置的边界条件和概括;(c) 句子,讨论动作方向模拟的边界条件和应用;(d) 文本,讨论模拟教学如何提高初学者的理解力;(e) 对话,讨论多模态线索如何改善轮流和对齐;(f) 文本语料库,讨论分布式语义模型如何揭示扎根和体现知识在文本中的编码方式。这些方法正在汇聚成令人信服的语言心理学解释,但与此同时,对体现方法和特定实验范式也提出了重要的批评。最可靠的前进之路需要采用多种科学方法。通过提供互补证据,结合不同粒度级别的多种方法可以帮助我们更全面地了解语言处理中体现和基础的作用。
然而,表达和实施这些思考是困难的,特别是在机器人和人工智能 (AI) 等新的复杂领域。为了这个目的,本书收集了体现人工智能的多样性、公平性和包容性 (DEI4EAI) 项目的思考、见解和工具。本书面向从事体现人工智能工作并有兴趣为更公平和公正的未来做出贡献的学生、研究人员、设计师、开发人员和社会利益相关者。所有那些被称为普通的东西实际上都是文化性的:它们代表着价值观、信仰和叙述,影响我们如何收集和使用数据、如何设计算法、如何定义代理、如何塑造人工智能体现、如何设计交互以及我们如何定义体现人工智能干预。尽管角色和能力不同,设计师、研究人员和更广泛的利益相关者(如政策制定者和社区)都有责任反思他们的价值观、观点、偏见和刻板印象如何影响具体化的人工智能技术。这很重要,因为孤立的实践会影响我们评估行为风险和危害的能力。为了防止设计有害和不充分的技术,需要以反思和开放的态度审视叙述、实践和方法,以转变思维方式。
对比语言图像预训练 (CLIP) 编码器已被证明对从分类和检测到字幕和图像处理等一系列视觉任务有益。我们研究了 CLIP 视觉主干对 Embodied AI 任务的有效性。我们构建了非常简单的基线,称为 EmbCLIP,没有任务特定的架构、归纳偏差(例如使用语义图)、训练期间的辅助任务或深度图——但我们发现我们改进的基线在一系列任务和模拟器中表现非常出色。EmbCLIP 在 RoboTHOR ObjectNav 排行榜上以 20 分(成功率)的巨大优势名列前茅。它在 iTHOR 1-Phase Rearrangement 排行榜上名列前茅,击败了采用主动神经映射的第二佳提交作品,并且 % Fixed Strict 指标增加了一倍多(0.08 到 0.17)。它还击败了 2021 年 Habitat ObjectNav 挑战赛的获胜者,该挑战赛采用了辅助任务、深度图和人工演示,以及 2019 年 Habitat PointNav 挑战赛的获胜者。我们评估了 CLIP 的视觉表示在捕获输入观察的语义信息方面的能力——这些原语对于导航繁重的具身任务很有用——并发现 CLIP 的表示比 ImageNet 预训练的主干更有效地编码了这些原语。最后,我们扩展了我们的一个基线,生成了一个能够进行零样本物体导航的代理,它可以导航到训练期间未用作目标的物体。我们的代码和模型可以在 https://github.com/allenai/embodied-clip 获得。
摘要 — 从“互联网人工智能”时代到“具身人工智能”时代,出现了一种新兴的范式转变,人工智能算法和代理不再从主要来自互联网的图像、视频或文本数据集中学习。相反,他们通过与环境的互动从类似于人类的自我中心感知中进行学习。因此,对具身人工智能模拟器的需求大幅增长,以支持各种具身人工智能研究任务。对具身人工智能日益增长的兴趣有利于对通用人工智能 (AGI) 的更大追求,但目前还没有对这一领域的当代和全面的调查。本文旨在为具身人工智能领域提供百科全书式的调查,从其模拟器到其研究。通过评估我们提出的七个特征的九个当前具象人工智能模拟器,本文旨在了解模拟器在具象人工智能研究中的用途及其局限性。最后,本文调查了具象人工智能的三个主要研究任务——视觉探索、视觉导航和具象问答 (QA),涵盖了最先进的方法、评估指标和数据集。最后,通过调查该领域发现的新见解,本文将为任务模拟器的选择提供建议,并为该领域的未来方向提供建议。
This course aims at introducing the basic concepts and techniques in carrying out chemical analysis by using various modern spectroscopic and chromatographic instruments.Students will learn how to use modern instruments to determine the amounts of substances present in a mixture down to part per million levels (ppm), and identify the structure of a compound.Techniques such as UV-visible spectroscopy, infrared spectroscopy, mass spectrometry, nuclear magnetic resonance spectroscopy, gas chromatography and high performance liquid chromatography will be covered.This course will also discuss some common standard practices of collecting and preparing samples for laboratory testing, the accreditation system in testing laboratories.This course is conducted in the format of lecture.本课程旨在介绍化学分析中所用到的现代光谱和色谱仪器的基本概念和技术。学生将学习使用该 等仪器来分析浓度水平低至百万分之一的物质,并确定化合物的结构。课程内容包括紫外 − 可见光 谱法、红外线光谱法、质谱分析法、核磁共振、气相色谱法及高效能液相色谱法的操作技巧,以 及化验工作中的收集及制备样本的常用标准技巧和香港化验室所实行的认可系统。课程以讲课形 式进行。 Medium of Instruction:
多年来,计算主义认知科学家在心智描述中运用表征和有效因的概念,而以动态系统为导向的生态心理学家则摒弃表征主义和有效因,转而主张多尺度、偶然相互作用和具身化。本文介绍了一种最近发展起来的具身化理论——野生系统理论 (WST),该理论就是为克服这种矛盾而开发的。WST 将生物体概念化为它们出现并维持自身的系统发育、文化、社会和发展背景的多尺度自我维持的具身化。这种自我维持的背景具身化自然且必然与它们所体现的多尺度背景有关。因此,意义(即内容)是它们的构成要素。这种内容方法克服了计算主义对表征的需求,同时满足了生态对多尺度偶然相互作用的偏好。
摘要 研究人员越来越多地探索为健全用户部署脑机接口 (BCI),其动机是比现有的身体介导交互更直接地访问心理状态。这种动机似乎与长期以来 HCI 对具身化的强调相矛盾,即普遍认为身体对认知至关重要。本文通过回顾具身认知和交互的见解来解决这一明显的矛盾。我们首先批判性地审视最近对 BCI 的兴趣,并确定大脑认知与更广泛的身体整合的程度是研究的核心关注点。然后,我们定义了综合认知观点对界面设计和评估的影响。我们得出的一个违反直觉的结论是,具身化本身不应该意味着比 BCI 更倾向于身体介导的交互。相反,它可以通过以下方式指导研究:1) 为 BCI 性能提供基于身体的解释,2) 提出在认知模块化观点中被忽视的评估考虑因素,以及 3) 通过将其设计见解直接转移到 BCI。最后,我们反思了 HCI 对具身化的理解,并确定了迄今为止被忽视的具身化的神经维度。