XiaoMi-AI文件搜索系统
World File Search SystemSemantic
语义信念行为图：在未知环境中启用自主机器人检查
摘要 - 本文解决了在复杂且未知环境中自动机器人检查的问题。即使面对感知不确定性和对环境的先验知识，这种能力对于各种现实世界中的有效和精确检查至关重要。现有的实际自主检查方法典型地依赖于预定义的目标和路点，并且通常无法适应动态或未知设置。在本文中，我们介绍了语义信念行为图（SB2G）框架，作为一种新的语义意识自主机器人检查的方法。sb2g使用行为节点为机器人生成控制策略，该行为节点封装了设计用于检查不同类别对象的各种基于语义的策略。我们设计了一种主动的语义搜索行为，以指导机器人定位对象进行检查，同时降低语义信息不确定性。SB2G中的边缘编码这些行为之间的过渡。我们使用腿部机器人平台通过模拟和现实世界的城市检查来验证我们的方法。我们的结果表明，SB2G实现了更有效的检查政策，表现出与人类经营的检查相当的性能。
MEG证明与模式无关的概念表示包含语义和视觉特征
可以从不同的刺激方式中访问我们大脑中存储的语义知识。例如，猫的图片和“猫”一词都具有相似的概念表示。现有研究发现了与模态无关表示的证据，但其内容仍然未知。独立于模式的表示可能是语义，或者它们也可能包含感知特征。我们开发了一种新颖的方法，该方法将单词/图片跨条件解码与神经网络分类器结合在一起，该方法从MEG数据（25名人类参与者，15名女性，10名男性）中学到了潜在的独立表示的表示。然后，我们将这些表示形式与代表语义，感觉和拼字法特征的模型进行了比较。结果表明，与模式无关的表示与语义和视觉表示相关。没有证据表明这些结果是由于图片特征的视觉特征或拼字特征自动激活了实验中提出的刺激。这些发现支持了与模态无关的概念包含感知和语义表示的观念。
NLU-STR在Semeval-2024任务1：基于生成的增强和基于编码器的语义文本相关性评分
语义文本相关性是语义相似性的更广泛的影响。它衡量了两个文本传达相似含义或主题或共享相关概念或上下文的范围。这种相关性概念可以在各种应用中（例如文档聚类和汇总）中提出。SEMREL-2024是Semeval-2024中的共享任务，旨在通过为包括阿拉伯语在内的14种语言和方言提供数据集来减少语义相关性任务中的差距。本文介绍了我们参与轨道A（阿尔及利亚和摩洛哥方言）和轨道B（现代标准阿拉伯语）的参与。在监督轨道（a）中对基于BERT的模型进行了精心调整，而基于BERT的CONINE相似性则用于无监督的轨道（B）。我们的系统在Semrel-2024中对MSA排名第1，Spearman相关得分为0.49。，我们为摩洛哥排名第5位，而阿尔及利亚的排名分别为0.83和0.53。
鹦鹉：具有语义变量的基于LLM的应用程序的有效服务
本文介绍了Parrot，这是一种LLM服务系统，侧重于基于LLM的应用程序的端到端体验。Parrot提出了语义变量，这是将应用程序级知识暴露于公共LLM服务的统一的抽象。语义变量注释请求提示符中的输入/输出变量，并在连接多个LLM请求时创建数据管道，从而提供了一种编程LLM应用程序的NATU-ralal方法。将语义变量暴露于公共LLM服务允许其执行惯例数据流分析，以发现多个LLM请求之间的相关性。这种相关性为基于LLM的应用程序的端到端性能打开了一个全新的优化空间。广泛的评估表明，鹦鹉可以为流行的LLM应用程序的流行和实际用例实现高度改进。
基于视觉的情况图利用基于语义实体的集成基金标记
情境图（S图）合并了通过同时定位和映射（SLAM）将3D场景图的接近的几何模型合并到多层联合优化因子图中。作为一种优势，S-graph不仅是通过将几何图与一个图中的各种层次组织的语义界面及其拓扑关系相结合，因此更全面的机器人情境意识，还可以改善本地化的性能，并通过Exploit-exploit-exploit-neploit-neploit-opploit-依靠语义信息绘制。在本文中，我们介绍了基于视觉的S-Graphs版本，其中使用传统的视觉猛击（VSLAM）系统用于低级功能跟踪和映射。此外，该框架利用了ducial标记的潜力（可见以及我们最近引入的透明或完全看不见的标记）来编码有关环境及其内部对象的全面信息。标记有助于识别和绘制结构性的语义实体，包括环境中的墙壁和门，在全球参考中具有可靠的姿势，随后与包括走廊和房间在内的高级实体建立了有意义的关联。然而，除了包括语义实体外，还利用了公爵标记物施加的语义和几何约束来提高重建的地图的质量并减少本地化错误。使用腿部机器人收集的实际数据集上的实验结果表明，我们的框架在制作更丰富的多层分层图方面表现出色，并同时增强了机器人姿势精度。
VLA-3D：用于3D语义场景的数据集理解和导航
摘要 - 随着大型语言模型（LLM），视觉模型（VLM）和其他一般基础模型的最新兴起，多模式，多任务体现的代理的潜力越来越大，可以在不同的环境中以自然语言作为输入来运作。一个这样的应用区是使用自然语言说明的室内导航。尽管最近进展，但由于所需的空间推理和语义理解，该问题仍然具有挑战性，尤其是在可能包含许多属于细粒类的对象的任意场景中。为了应对这一挑战，我们策划了3D场景（VLA-3D）的视觉和语言引导动作的最大现实世界数据集（VLA-3D），包括超过11.5k的现有数据集中的3D室内室内室内，2350万个启发式化的启发式化的启发式语义生成的语义关系，对象之间，综合构成了综合典型的参考性。我们的数据集由处理过的3D点云，语义对象和房间注释，场景图，可通航的自由空间注释以及参考语言语句，这些语言语言专门针对独立于视图的空间关系，以消除歧义对象。这些功能的目标是专门帮助导航的下游任务，尤其是在现实系统中，必须在不断变化的场景和不完美的语言的开放世界中保证某种级别的鲁棒性。我们还旨在使该数据集有助于开发交互式代理，这些互动代理都可以响应命令并提出有关场景的问题并回答问题。我们使用当前的最新模型基准测试数据集，以获得性能基线。所有要生成和可视化数据集的代码均公开发布1。随着该数据集的发布，我们希望为语义3D场景中的进度提供资源，这对变化是可靠的，这将有助于开发交互式室内导航系统。
ChineseEEG：用于语义对齐和神经解码的中文语言语料库脑电图数据集
利用富文本刺激的脑电图 (EEG) 数据集可以促进对大脑如何编码语义信息的理解，并有助于脑机接口 (BCI) 中的语义解码。针对包含中文语言刺激的 EEG 数据集稀缺的问题，我们提出了 ChineseEEG 数据集，这是一个高密度 EEG 数据集，并辅以同步眼动追踪记录。该数据集是在 10 名参与者默读两部著名小说中约 13 小时的中文文本时编制的。该数据集提供长时间的 EEG 记录，以及预处理的 EEG 传感器级数据和由预训练的自然语言处理 (NLP) 模型提取的阅读材料的语义嵌入。作为源自自然中文语言刺激的试点 EEG 数据集，ChineseEEG 可以显著支持神经科学、NLP 和语言学的研究。为中文语义解码建立了基准数据集，有助于脑机接口的发展，并有助于探索大型语言模型与人类认知过程的契合。它还可以帮助研究中文自然语言背景下的大脑语言处理机制。
p riv i Mage：使用具有语义意识读写的扩散模型差异私有合成图像生成
年龄，精心选择预训练数据，促进具有高保真和效率的DP数据集的有效创建。p iVimage首先使用公共数据集建立语义查询函数。然后，此功能有助于查询敏感数据集的语义分布，从而促进了从公共数据集中选择使用类似语义进行预训练的数据。最后，我们使用选定的数据预先培训图像通用模型，然后使用私有随机梯度下降（DP-SGD）在敏感数据集上微调此模型。p Ivimage使我们能够训练一个易于参数化的生成模型，从而在DP-SGD训练过程中降低了梯度的噪声并增强训练稳定性。广泛的实验表明，与最先进的方法相比，P iVimage仅使用1％的公共数据集进行预训练和7.6％的参数，而实现了卓越的合成性能并保守更多的计算资源。平均而言，P铆接比最先进的方法提高了6.8％的FID和分类精度13.2％。可以在线访问复制软件包和数据集1。
用于基础架构场景3D点云语义分割的层次SVM
摘要：建筑信息建模（BIM）的结合带来了土木工程的重大进步，增强了项目生命周期的效率和可持续性。激光扫描等高级3D点云技术的利用扩展了BIM的应用，尤其是在操作和维护中，促使探索自动化解决方案以进行劳动密集型点云建模。本文介绍了监督机器学习（特别是支持向量机）的演示，用于分析和分割3D点云，这是3D建模的关键步骤。对点云语义分割工作流进行了广泛的审查，以涵盖关键元素，例如邻域选择，特征提取和特征选择，从而为此过程开发了优化的方法。在每个阶段都实施各种策略，以增强整体工作流程并确保弹性结果。然后使用来自桥梁基础结构场景的不同数据集评估该方法，并将其与最先进的深度学习模型进行了比较。调查结果强调了在精确细分3D点云时监督机器学习技术的有效性，超过了较小的培训数据集的深度学习模型，例如PointNet和PointNet ++。通过实施高级分割技术，要点对点云的3D建模所需的时间有所减少，从而进一步提高了BIM过程的效率和有效性。
SOK：在自动驾驶中的语义AI安全性
摘要 - 自主驾驶（AD）系统依靠AI组件来做出安全和正确的驾驶决策。不幸的是，今天的AI算法通常是对对抗攻击的脆弱性。但是，要使这样的AI组件级漏洞在系统级别上具有语义影响，它需要解决从系统级攻击输入空间到AI组件级别的非平凡语义差距（1），以及（2）从AI组件级别的攻击影响到系统级别的人。在本文中，我们将研究空间定义为语义AI安全性，而不是通用AI安全性。在过去的5年中，越来越多的研究工作将在广告环境中应对此类语义AI安全挑战，这已经开始显示指数级的增长趋势。但是，据我们所知，到目前为止，这个新兴的研究空间还没有全面的系统化。在本文中，我们对这种不断增长的语义AD AI安全研究领域的知识进行了首次系统化。总共收集和分析了53篇论文，并根据对安全领域至关重要的研究方面进行系统分类，例如攻击/国防目标AI组件，攻击/国防目标，攻击向量，攻击媒介，攻击知识，防御可部署性，防御能力，防御可靠性和评估方法。我们总结了基于现有的AD AI安全性工作的定量比较以及与密切相关域的安全性工作水平进行的6个最重大的科学差距。使用这些，我们不仅可以在设计层面，而且在研究目标，方法论和社区层面上提供见解和潜在的未来方向。为了解决最关键的科学方法论级别的差距，我们采取了主动性为开源，统一和可扩展的系统驱动的评估平台（名为PASS），称为语义AD AD AI AI安全研究社区。我们还使用实现的平台原型来展示使用代表性语义AD AI攻击的平台的功能和好处。