Cheraghian 等人 [ 21 – 23 ] 在零样本 3 维模型分类方 面提出了 3 维点云的零样本学习方法、缓解 3 维零样 本学习中枢纽点问题的方法和基于直推式零样本学 习的 3 维点云分类方法,并将它们封装进一个全新 的零样本 3 维点云方法 [ 24 ] 中。以上方法均是利用已 知类样本的点云表征及其词向量对未知类别进行分 类,开创了零样本 3 维模型分类方法。近年来, CLIP 在零样本图像分类上取得了良好的效果,因此有研 究者将 CLIP 应用到零样本 3 维模型分类方法中, Zhang 等人 [ 25 ] 提出了基于 CLIP 的 3 维点云理解 (Point cloud understanding by CLIP, PointCLIP) 模型, PointCLIP 首先将 3 维点云投影成多个深度图,然 后利用 CLIP 的预训练图像编码器提取深度图特 征,同时将类别名称通过 CLIP 预先训练的文本编 码器提取文本特征。但是 PointCLIP 的性能受到深 度图和图像之间的域差异以及深度分布的多样性限 制。为了解决这一问题,基于图像 - 深度图预训练 CLIP 的点云分类方法 (transfer CLIP to Point cloud classification with image-depth pre-training, CLIP2Point) [ 26 ] 将跨模态学习与模态内学习相结合 训练了一个深度图编码器。在分类时,冻结 CLIP 的图像编码器,使用深度图编码器提取深度图特 征,该方法缓解了深度图和图像间的模型差异。用 于 3 维理解的图像 - 文本 - 点云一致性表征学习方法 (learning Unified representation of Language, Im- age and Point cloud for 3D understanding, ULIP) [ 27 ] 构建了一个图像、文本和点云 3 种模态的 统一嵌入空间,该方法利用大规模图像 - 文本对预 训练的视觉语言模型,并将 3 维点云编码器的特征 空间与预先对齐的视觉 - 文本特征空间对齐,大幅 提高了 3 维模型的识别能力。与之相似的是,基于 提示文本微调的 3 维识别方法 (CLIP Goes 3D, CG3D) [ 28 ] 同样使用 3 元组形式确保同一类别的 3 维模 型特征和图像特征之间以及 3 维模型特征和文本特 征之间存在相似性,从而使点云编码器获得零样本 识别的能力。另外, PointCLIP V2 [ 29 ] 在 Point- CLIP 的基础之上,通过利用更先进的投影算法和 更详细的 3 维模型描述,显着提高了零样本 3 维模型 分类准确率。本文采用语义增强 CLIP 解决图像和文 本的语义鸿沟问题,通过在语义层面为图像和文本 提供更多相似的语义信息,使图像和文本对齐更具有 一致性,从而有效提高 3 维模型的零样本分类性能。 2.2 提示工程
语义解析的最新进展几乎不考虑英语以外的其他语言,但专业翻译的速度可能非常昂贵。我们将接受单一语言训练的语义解析器(例如英语)调整为新的语言和多个域,并具有最小的注释。我们查询机器翻译是否足以替代培训数据,并将其扩展到使用英语,释义和多语言预培训模型的联合培训来调查引导。我们通过在多个编码器上的注意力并提出了ATIS的新版本,并在德语和中文中介绍了新版本,从而开发了一个基于变压器的解析器,将副本酶结合在一起。实验结果表明,MT可以在新的语言中近似训练数据,以便通过多个MT engines进行释义时进行准确解析。考虑到MT何时不足,我们还发现,使用我们的方法仅使用50%的培训数据才能在完全转移的2%内实现解析精度。1
客户包括全球 100 大品牌中的 90 个、10 大制药公司以及全球前 20 名专利申请人中的约一半。我们的客户群遍布欧洲、亚太地区以及北美和南美,涉及技术、制药、医疗、法律、化学、汽车、政府和电信领域,我们通过遍布五大洲的办事处为这些领域提供服务。
摘要:小型飞机类别(例如小型空中运输(SAT)、城市空中交通(UAM)、无人机系统(UAS))、现代航空电子解决方案(例如电传操纵(FBW))和减小的飞机(A/C)尺寸的异质性需要更紧凑、集成、数字化和模块化的空中数据系统(ADS),该系统能够测量来自外部环境的数据。在 Clean Sky 2 计划的框架内资助的 MIDAS 项目旨在通过经过商业应用认证的 ADS 满足这些最新要求。主要支柱在于 COTS 解决方案和分析传感器(专利技术)之间的智能融合,以识别气动角度。识别涉及飞行动态关系和基于神经技术的数据驱动状态观察器,一旦训练完成,它们就是确定性的。由于该项目将首次将分析传感器作为冗余系统的一部分安装在民用飞机上,因此本工作中记录的设计活动特别关注适航认证方面。在此成熟度级别,使用模拟数据,下一阶段将使用真实飞行测试数据。描述了训练和测试方面的数据收集。训练操作旨在激发所有动态模式,而测试操作旨在独立于训练集和所有自动驾驶仪配置验证结果。结果表明,替代解决方案是可能的,可以大大节省计算工作量和代码行数,但同时也表明,更好的训练策略可能有利于应对新的神经网络架构。
与当前的通信理论不同,该理论将信息量视为消息统计稀缺性的度量,概述了语义信息理论,其中给定语言系统中句子所携带的信息概念被视为与该句子的内容同义,以某种方式规范化,语义信息量的概念通过该内容的各种度量来阐明,所有度量均基于涵盖内容的逻辑概率函数。绝对度量和相对度量是有区别的,因此 D 函数适用于仅与演绎推理相关的环境,而 I 函数适用于归纳推理足够的环境。在研究的两种主要信息量类型中,一种是 cont,对于内容排他性的句子是加性的,另一种是 inf,对于归纳独立的句子是加性的。后者在形式上类似于传统的信息度量函数。研究了各种信息量估计函数,从而得到了当前传播理论中概念和定理的广义语义相关性。初步定义了语义噪声的概念,以及语言系统概念框架的效率和冗余性。建议语义信息是一个比其传播对应概念更容易应用于心理学和其他研究的概念。
摘要:本文介绍一种新方法,将人机界面 (HMI) 状态(一种涵盖操作员动作和过程状态的视觉反馈状态模式)从多变量时间序列转换为自然语言处理 (NLP) 建模领域。该方法的目标是在给定 k 个滞后过去 HMI 状态模式的情况下,预测 n 个提前时间步长窗口的操作员响应模式。NLP 方法提供了在 HMI 状态模式中编码 (语义) 上下文关系的可能性。为此,介绍了一种使用序列到序列 (seq2seq) 深度学习机器翻译算法构建原始 HMI 数据以进行监督训练的技术。此外,基于注意力等当前最先进的设计元素的自定义 Seq2Seq 卷积神经网络 (CNN) NLP 模型与基于标准循环神经网络 (RNN) 的 NLP 模型进行了比较。结果表明,用于建模 HMI 状态的两种 NLP 模型设计具有相当的有效性。 RNN NLP 模型显示出更高的(≈ 26%)预测准确度,一般来说,无论是样本内还是样本外的测试数据集。然而,自定义 CNN NLP 模型显示出更高的(≈ 53%)验证准确度,表明在相同数量的可用训练数据的情况下,过度拟合较少。所提出的工业 HMI NLP 建模的实际应用,例如在发电站控制室、航空(驾驶舱)等,正朝着现实的方向发展
摘要:钢筋混凝土 (RC) 结构中的损坏可能是由动态或静态载荷引起的。当今可用的检测技术难以检测缓慢进展的局部有限损坏,尤其是在上部结构中难以到达的区域。基准 RC 结构上的四点弯曲试验用于测试嵌入式传感器的质量和灵敏度。它可以评估是否可以检测到嵌入式传感器发生的任何开裂和扩展。使用各种方法分析超声波信号。通过确定超声波信号的特征,可以评估整个结构的变化。使用各种无损检测方法测试了 RC 基准结构的结构退化,以全面判断结构状况。结果表明,即使损坏不在超声波的直接路径上,超声波传感器也可以以 100% 的概率检测到裂缝,即使在肉眼和其他技术可见之前也是如此。获得的结果证实,使用基于嵌入式和外部传感器以及先进信号处理的开发方法可以实现早期裂缝检测。
摘要:无人机系统 (UAS) 航空电子设备的不断发展,为飞行器和地面任务控制带来了更高水平的智能化和自主性,从而催生了新的有前途的操作概念。一对多 (OTM) UAS 操作就是这样一个概念,它的实施需要在多个领域取得重大进展,特别是在人机界面和交互 (HMI 2 ) 领域。在 OTM 操作期间测量认知负荷,特别是心理工作负荷 (MWL) 是可取的,因为它可以减轻自动化程度提高带来的一些负面影响,通过提供动态优化航空电子 HMI 2 的能力,实现自主飞行器和人类操作员之间的最佳任务共享。本文提出的新型认知人机系统 (CHMS) 是一种信息物理人 (CPH) 系统,它利用了经济实惠的生理传感器的最新技术发展。该系统专注于生理感知和人工智能 (AI) 技术,这些技术可以支持 HMI 2 的动态调整,以响应操作员的认知状态(包括 MWL)、外部/环境条件和任务成功标准。然而,仍然存在重大的研究空白,其中之一涉及一种可以应用于 UAS 操作场景的确定 MWL 的普遍有效方法。因此,在本文中,我们介绍了一项关于测量的研究结果
摘要:本文提出了一种稳健、准确的飞机姿态估计方法。飞机姿态反映了飞机的飞行状态,准确的姿态测量在许多航空航天应用中都非常重要。本工作旨在建立一个基于通用几何结构特征的飞机姿态估计通用框架。该方法提取线特征来描述单幅图像中的飞机结构,并利用通用几何特征形成线组以进行飞机结构识别。利用平行线聚类来检测机身参考线,飞机的双侧对称特性为弱透视投影下机翼边缘线的提取提供了重要约束。在识别飞机主要结构后,采用平面相交法根据建立的线对应关系获得三维姿态参数。我们提出的方法可以增加双目视觉传感器的测量范围,并且具有不依赖于三维模型、合作标记或其他特征数据集的优势。实验结果表明,我们的方法可以获得不同类型飞机的可靠和准确的姿态信息。