XiaoMi-AI文件搜索系统
World File Search SystemSemantic
D4.4 数据融合、分析和语义质量解决方案
本文档代表了数据分析、数据融合和语义质量可交付成果。其主要目标是描述用于实现数据融合、分析和语义质量的方法，这些方法是组成虚拟个体模型 (VIM) 的解决方案。已与 PRECIOUS 项目的参与者一起建立了受控词汇表。它为所有合作伙伴（用户、开发人员、专家和卫生人员）提供了对数据的共同理解，建立了与专注于电子健康的现有项目和数据源的关系，允许监控和维护词汇表的质量问题，协调来自不同传感器和输入提供商的数据，并为整个项目使用标准化数据模型。然后，提出了每个领域知识的描述，以详细说明从低级上下文中提取语义数据，例如文本数据的语义分析、食物分析、心率处理、环境传感器分析和手机传感器数据分析。
面向语义数据容器管理的可扩展性指南
语义技术有助于创建和管理概念模型（也称为本体），并将概念模型应用于大规模和分散的信息系统，以促进对数据和元数据的共同理解。语义数据容器管理是一种基于本体的方法，用于组织数据集并自动发现满足特定信息需求的数据集 [8]。语义数据容器方法目前正在空中交通管理 (ATM) 领域的合作研究项目 BEST (http://project-best.eu) 中开发。语义容器由数据项和元数据组成，它们提供了数据项要成为语义容器的一部分所要满足的成员条件的高级描述。成员条件通常描述数据项的地理空间和时间范围，
从脑磁信号进行连续语言语义重建
从神经信号中解码语言具有重要的理论和实践意义。先前的研究表明从侵入式神经信号中解码文本或语音的可行性。然而，当使用非侵入式神经信号时，由于其质量低下，面临着巨大的挑战。在本研究中，我们提出了一种数据驱动的方法，用于从受试者听连续语音时记录的脑磁图 (MEG) 信号中解码语言语义。首先，使用对比学习训练多受试者解码模型，从 MEG 数据中重建连续词嵌入。随后，采用波束搜索算法根据重建的词嵌入生成文本序列。给定波束中的候选句子，使用语言模型来预测后续单词。后续单词的词嵌入与重建的词嵌入相关联。然后使用这些相关性作为下一个单词的概率度量。结果表明，所提出的连续词向量模型可以有效利用特定主题和共享主题的信息。此外，解码后的文本与目标文本具有显著的相似性，平均 BERTScore 为 0.816，与之前的 fMRI 研究结果相当。
语义概念的神经解码：系统文献综述
长期以来，一些哲学家认为，我们对世界的体验是一种内在的主观体验，是我们个人的体验 [1, 2]。我们可能和邻居尝过同样的苹果、闻过同样的玫瑰、听过同样的鸟鸣，但长期以来，我们个人的心理状态被认为具有非常独特和主观的性质 [1]。许多哲学家将这种个人的内省体验称为我们的“感质”，即我们自己内省可获得的对世界的体验 [1, 2]。长期以来，一些人认为，我们不可能绝对确定地知道别人是如何体验世界的。尽管这可能仍然是正确的，但现代神经科学正越来越多地开始揭示我们的大脑如何对世界上的特定体验做出反应。我们现在知道，当我们吃苹果或闻玫瑰时，大脑中会发生哪些特定的活动模式，而且，从广义上讲，对于许多人来说，在这些体验过程中活跃的大脑部分是相似的 [3, 4, 2]。事实上，现代神经科学的很大一部分都集中在我们体验世界时的意识心理状态（我们的“感受性”）与大脑活动之间的关系上[5]。近年来，随着能够实时观察大脑活动的现代非侵入性神经成像工具的发展，这项工作得到了迅速加速[6]。功能性磁共振成像（开发于 20 世纪 90 年代[7, 8]）和脑电图（开发于 19 世纪 70 年代至 90 年代[9]，但最近与强大的计算机驱动统计分析技术相结合）等技术已与神经系统研究相结合，
基于深度学习的肿瘤检测和语义分割框架
摘要。对于脑肿瘤治疗计划，医生和放射科医生的诊断和预测取决于医学成像。从各种成像方式（例如计算机断层扫描 (CT)、正电子发射断层扫描 (PET) 和磁共振 (MR) 扫描）获取具有临床意义的信息是放射科医生使用的软件和高级筛查的核心方法。在本文中，介绍了一个通用而复杂的框架，用于剂量控制过程的两个部分：从医学图像中检测肿瘤和分割肿瘤区域。该框架形成了从 CT 和 PET 扫描中检测神经胶质瘤的方法的实现。研究了两个深度学习预训练模型：VGG19 和 VGG19-BN，并将其用于融合 CT 和 PET 检查结果。Mask R-CNN（基于区域的卷积神经网络）用于肿瘤检测——该模型的输出是图像中每个对象（肿瘤）的边界框坐标。 U-Net 用于执行语义分割：分割恶性细胞和肿瘤区域。迁移学习技术用于在数据集有限的情况下提高模型的准确性。应用数据增强方法来生成和增加训练样本的数量。实施的框架可用于结合灰度和 RGB 图像中的对象检测和区域分割的其他用例，尤其是塑造医疗保健行业的计算机辅助诊断 (CADx) 和计算机辅助检测 (CADe) 系统，以方便和协助医生和医疗保健提供者。
视觉增强的动态语义原型，用于生成零拍学习
生成的零拍学习（ZSL）学习了一个生成器来合成看不见类的视觉样本，这是推进ZSL的有效方法。然而，现有的发电方法依赖于高斯噪声和预定义的语义原型的条件，这限制了仅在特定的看到类中优化的发电机，而不是对每个视觉实例进行特征，从而导致概括不良（例如，过度适用于可见的类）。为了解决这个问题，我们提出了一种新颖的视觉启动动态语义原型方法（称为VADS），以增强发电机来学习准确的语义 - 视觉映射，以充分利用视觉效果的知识为语义条件。详细说明，VADS由两个模块组成：（1）视觉吸引域知识学习模块（VDKL）了解视觉特征的偏见和全局先验（称为域的视觉知识），这些偏见取代了纯净的高斯噪声，以提供更丰富的先验噪声信息； （2）以视觉为导向的语义更新模块（VOSU）根据样本的视觉表示更新语义原型。最终，我们将它们的输出作为动态语义原型串联，作为发电机的条件。广泛的实验表明，我们的VAD在三个突出的数据集上实现了上升的CZSL和GZSL prounperces，并且在Sun，Cub和Awa2上分别胜过其他最先进的方法，其平均分别增加了6.4％，5.9％，5.9％和4.2％。
使用自动驾驶汽车的规格符合符合性的可及性分析，使用磁性模型检查
本文提出了一种新的方法，用于从密集的点云数据中自动为曼哈顿环境中的建筑物创建语义数字模型。与以前仅依赖于数据驱动方法的方法不同，我们的方法将人工智能与域工程知识集成在一起，以在复杂的布局中克服室内点云处理和几何形式表示中的chal lenges。基于功能的DE Cision树分类器提取了主要建筑元素，该元素用于3D空间解析的基于知识的算法中。在此基础上，优化过程生成参数化的平面图，用于最终创建体积数字模型。该方法在慕尼黑技术大学和斯坦福大学的数据集上进行了验证，用于模型放置的平均准确性约为0.08 m，用于估计元素参数的0.06 m，这突出了其产生建筑物语义数字模型的有效性。这种方法强调了AI集成在数字孪生工作流程中的潜力，以提供更多的自动交配解决方案。
VLA-3D：用于3D语义场景的数据集理解和导航
摘要 - 随着大型语言模型（LLM），视觉模型（VLM）和其他一般基础模型的最新兴起，多模式，多任务体现的代理的潜力越来越大，可以在不同的环境中以自然语言作为输入来运作。一个这样的应用区是使用自然语言说明的室内导航。尽管最近进展，但由于所需的空间推理和语义理解，该问题仍然具有挑战性，尤其是在可能包含许多属于细粒类的对象的任意场景中。为了应对这一挑战，我们策划了3D场景（VLA-3D）的视觉和语言引导动作的最大现实世界数据集（VLA-3D），包括超过11.5k的现有数据集中的3D室内室内室内，2350万个启发式化的启发式化的启发式语义生成的语义关系，对象之间，综合构成了综合典型的参考性。我们的数据集由处理过的3D点云，语义对象和房间注释，场景图，可通航的自由空间注释以及参考语言语句，这些语言语言专门针对独立于视图的空间关系，以消除歧义对象。这些功能的目标是专门帮助导航的下游任务，尤其是在现实系统中，必须在不断变化的场景和不完美的语言的开放世界中保证某种级别的鲁棒性。我们还旨在使该数据集有助于开发交互式代理，这些互动代理都可以响应命令并提出有关场景的问题并回答问题。我们使用当前的最新模型基准测试数据集，以获得性能基线。所有要生成和可视化数据集的代码均公开发布1。随着该数据集的发布，我们希望为语义3D场景中的进度提供资源，这对变化是可靠的，这将有助于开发交互式室内导航系统。
物联网设备与智能空间之间的语义桥梁
智能空间管理和应用程序开发之所以具有挑战性，部分原因是用户的高级需求与物联网设备的低级功能之间存在语义鸿沟。智能空间中的利益相关者需要处理与特定物联网设备的通信、捕获数据、处理数据并将其抽象出来以生成有用的推论。此外，由于智能空间应用程序是为特定传感器部署而开发的，因此这使得其可重用性变得困难。在本文中，我们介绍了一种物联网智能空间的整体方法，即 SemIoTic 生态系统，以促进应用程序开发、空间管理和向其居民提供服务。该生态系统基于一个集中式存储库，开发人员可以在其中宣传他们的与空间无关的应用程序；以及部署在每个智能空间中的 SemIoTic 系统，该系统与这些应用程序交互以向它们提供所需的信息。SemIoTic 应用程序是使用元模型开发的，该元模型定义了从智能空间中抽象出来的关于空间本身及其中的人员的高级概念。然后，可以用用户友好的高级概念来表达应用程序需求，这些概念由 SemIoTic 自动转换为适合每个空间中底层设备部署的传感器/执行器命令。我们介绍了已在加州大学欧文分校部署的生态系统的参考实现，该生态系统正在从空间中的数百个传感器中提取数据并向校园成员提供应用程序。
幼儿时期语音和语义处理的神经基础
在阅读发展的早期阶段，儿童获得语音（字母到声音的映射）和语义知识（词义的储存和检索）。他们的阅读能力迅速变化，同时在学习阅读的过程中，大脑也发生可塑性变化。本研究旨在通过结合单变量和多变量模式分析来确定儿童早期语音和语义加工的神经基础。19 名 5 至 7 岁之间发育正常的儿童在功能性磁共振成像扫描期间执行了视觉词语级语音（押韵）和语义（相关意义）判断任务。我们的多变量分析显示，具有良好阅读能力的幼儿已经调动大脑左半球区域进行语音处理，包括下额叶 (IFG)、上颞叶和中颞叶以及梭状回。此外，我们的多变量结果表明，这两项任务调动了左侧 IFG 的不同子区域。我们的结果表明，额颞叶区域在语音处理和语义处理方面具有左侧化特征。此外，我们观察到在儿童早期，顶叶区域在语义处理方面具有双侧激活特征。我们的研究结果表明，对于正常发育的儿童来说，阅读的神经基础在儿童早期就已开始形成，这可以作为对照基线，用于比较有阅读困难风险的儿童。