XiaoMi-AI文件搜索系统
World File Search SystemSce
ChatScene：自动驾驶汽车的知识关键方案生成
摘要我们提出了一种大型语言模型（LLM）的ChatScene-利用LLM的能力来为自动驾驶汽车的安全至关重要方案。给定的非结构化语言指令，代理首先使用LLMS生成文本描述的流量方案。这些SCE-NARIO描述随后被分解为几个子描述，以获取指定的细节，例如行为和车辆的位置。代理然后将文本描述的子筛选性转换为特定于域的语言，然后在模拟器中生成用于预测和控制的实际代码，从而促进了Carla Simulation Envimonment中的不同和复杂场景的创建。我们代理的关键部分是一个全面的知识检索组件，它通过训练包含情景描述和代码对的知识数据库来有效地将特定的文本描述转化为相应的特定领域代码段。广泛的实验结果强调了Chatscene在提高自动驾驶汽车安全性方面的功效。对于Intance，ChatScene产生的方案显示，与最先进的基线相比，在针对不同的基于强化的基于学习的自我车辆进行测试时，碰撞率增加了15％。此外，我们表明，通过使用我们生成的安全 - 关键方案来微调不同的基于RL的自主驾驶模型，它们可以降低碰撞率9％，超过Cur-Current Sota方法。代码可在https://github.com/javyduck/chatscene上找到。ChatScene有效地弥合了交通情况的文本描述与实际CARLA模拟之间的差距，从而提供了一种统一的方式，以方便地生成安全至关重要的方案，以进行安全测试和改进AVS。
基于NOAA的统一预测系统开发和实施次生和季节性（S2S）预测系统的状态和计划：
▪灾难侦察报告，当上传时，它可以快速摘要和信息检索[1]。▪对于特定的知识（例如，F级规模和EF尺度之间的统计关系），需要一些上传文档的提示。3。有关天气和气候模拟大型AI模型中最新进展的全面知识，但直到2023年。
扩展动态的人类场景相互作用建模
已经取得了显着的迈进，该领域显然是由于缺乏高质量数据集而导致的。早期数据集（如Pigraphs [39]和Prox [16]）启动了探索，但受到可扩展性和数据质量的约束。MOCAP数据集[14，30]使用Vicon等复杂的设备优先考虑高质量的人类运动限制。但是，他们通常缺乏捕获多样化和沉浸式的HSI。通过RGBD视频录制的可扩展数据集提供了更广泛的实用程序，但受到人类姿势和对象跟踪质量较低的阻碍。合成数据集的出现[1，3，4，55]提供了成本效率和适应性，但无法封装完整的现实HSI频谱，尤其是在捕获动态3D触点和对象跟踪时。为了应对这些挑战，这项工作首先引入了trumans（t rack hum a um a u u u u u u u u u u u u u u a ctio n s in s cenes）数据集。Trumans成为最广泛的运动捕获HSI数据集，涵盖了15个小时以上15个小时的室内场景中的各种相互作用。它捕获了全身的人类动作和部分级别的对象动力学，重点是接触的现实主义。通过将物理环境复制到准确的虚拟模型中，可以进一步增强此数据集。外观和运动的广泛增强都应用于人类和物体，以确保相互作用的高度有限。接下来，我们设计了一个计算模型，通过将场景和动作作为条件同时采取行动来应对上述挑战。我们对杜鲁士数据集和运动合成方法进行了全面的交叉评估。特别是，我们的模型采用自回归的条件扩散，场景和动作嵌入作为征用输入，能够产生任意长度的运动。为了整合场景上下文，我们通过在本地化的基础上查询全局场景的占用来开发有效的场景感知者，这在导航杂乱的场景时表现出了3D感知的碰撞避免的强大效率。为了将框架的动作标签合并为条件，我们将时间特征集成到动作片段中，使模型在粘附在给定的动作标签时随时接受指令。场景和动作条件的这种双重整合增强了我们方法的可控性，为在3D场景中合成合理的长期运动提供了细微的界面。将trumans与现有人物进行比较，我们证明了杜鲁士人明显提高了最先进的方法的性能。此外，我们的方法在定性和定量上进行了评估，超过了现有的运动综合方法，其质量和零击性能力在看不见的3D场景上，非常接近原始运动捕获数据的质量。除了运动合成之外，杜鲁士人已经针对人类的姿势和接触估计任务进行了基准测试，证明了其多功能性并将其确立为一系列未来的研究努力的宝贵资产。
从文本说明中生成人类运动
由于其广泛的应用范围，从文本描述中产生人类动作已引起了越来越多的研究兴趣。但是，只有少数作品将人类场景的互动与文本条件一起考虑，这对于视觉和物理现实主义至关重要。本文提出了在3D门场景中产生人类动作的任务，鉴于人类习惯的文本描述。由于文本，场景和运动的多种形式性质以及对空间推理的需求，此任务提出了挑战。为了应对这些挑战，我们提出了一种新方法，将复杂的概率分解为两个更可管理的子问题：（1）目标对象的语言接地和（2）以对象为中心的信息产生。对于目标对象的语言基础，我们利用大型语言模型的力量。对于运动生成，我们设计了一个以对象为中心的场景代表生成模型，以专注于目标对象，从而降低场景的复杂性并促进人类运动与对象之间关系的建模。实验证明了与基准相比，我们的方法的更好运动质量并验证了我们的设计选择。代码将在链接上可用。
起搏器+：在驾驶场景中的按需行人动画控制器
我们应对行人模拟中的内容多样性和收获性的挑战，以驱动方案。最近的行人动画框架具有重要的限制，其中他们主要关注轨迹[48]或参考视频[60]的内容，因此忽略了这种情况下人类运动的潜在多样性。这种限制限制了产生行人行为的能力，这些行为表现出更大的变化和现实动作，因此重新严格使用其用法，为驾驶模拟系统中的其他组件提供丰富的运动内容，例如，突然改变了自动驾驶汽车应响应的运动。在我们的方法中，我们努力通过展示从各种来源获得的各种人类动作（例如生成的人类运动）来超越限制，以遵循给定的轨迹。我们的框架的基本贡献在于将运动跟踪任务与轨迹结合到以下，这可以跟踪特定运动零件（例如上半身），同时遵循单个策略的给定轨迹。以这种方式，我们在给定情况下显着增强了模拟人类运动的分歧，以及内容的可控性，包括基于语言的控制。我们的框架有助于生成
机器人空间感知的场景表示
机器人及时通过传感器数据构建持久，准确且可操作的模型的能力是自主操作的范围。在将世界表示为点云可能足以进行本地化时，避免障碍物需要更密集的场景表示形式。另一方面，更高级别的语义信息通常对于分解必要的步骤来完成一项复杂的任务，例如烹饪，自主是至关重要的。因此，迫在眉睫的问题是，手头机器人任务的合适场景表示是什么？这项调查提供了对关键方法和框架的全面回顾，这在机器人空间感知领域推动了进步，并特别关注了代表的历史演变和当前的趋势。通过将场景建模技术分类为三种主要类型（公式，公式和指标 - 语言流行），我们讨论了空间启示框架正在从构建世界的纯几何模型转变为更高级的数据结构的方式，这些模型包括更高级别的概念，例如对象实例和位置的概念。特别重点是实时同时定位和映射（SLAM）的方法，它们与深度学习的集成，以增强了鲁棒性和场景的理解，以及它们处理场景动态性的能力，作为当今驾驶Robotics研究的一些最热门的主题。我们在讨论方面的挑战和未来的研究方向的讨论中进行了结论，以建立适合长期自治的强大而可扩展的空间感知系统。
选择您需要的东西：删除的表示场景文本识别和编辑
场景文本图像不仅包含样式信息（字体，背景），还包含内容信息（字符，纹理）。不同的场景文本任务需要不同的信息，但是以前的表示学习方法 - 在所有任务中使用紧密耦合的功能，从而导致次优性能。我们提出了一个旨在解开这两种功能的分解表示学习框架（亲爱的），以改善适应性，以更好地解决各种下游任务（选择您真正需要的内容）。具体来说，我们合成具有相同样式但内容不同的图像对数据集。基于数据集，我们通过监督设计将两种类型的功能分解。很明显，我们将视觉表示形式直接分为样式和内容功能，内容特征是通过文本识别损失来监督的，而对齐损失使图像对中的样式特征保持一致。然后，样式功能用于通过图像解码器重新构造对应图像的提示，以指示对应方的内容。这样的操作根据其独特属性有效地将功能分解。据我们所知，这是场景文本领域中第一次删除文本图像的固有属性。 我们的方法在场景文本识别，转换和编辑中实现了最新的性能。据我们所知，这是场景文本领域中第一次删除文本图像的固有属性。我们的方法在场景文本识别，转换和编辑中实现了最新的性能。
用移动操作的交互式对象搜索语言的动态场景图
摘要 - 为了充分利用移动操纵机器人的功能，必须在大型未探索的环境中自主执行的长途任务。虽然大型语言模型（LLMS）已显示出关于任意任务的紧急推理技能，但现有的工作主要集中在探索的环境上，通常集中于孤立的导航或操纵任务。在这项工作中，我们提出了MOMA-LLM，这是一种新颖的方法，该方法将语言模型基于从开放式摄影场景图中得出的结构化表示形式，随着环境的探索而动态更新。我们将这些表示与以对象为中心的动作空间紧密地交织在一起。重要的是，我们证明了MOMA-LLM在大型现实室内环境中新型语义交互式搜索任务中的有效性。最终的方法是零拍摄，开放式摄影库，并且可以易于扩展到一系列移动操作和家用机器人任务。通过模拟和现实世界中的广泛实验，与传统的基线和最新方法相比，我们证明了搜索效率的显着提高。我们在http://moma-llm.cs.uni-freiburg.de上公开提供代码。
布局 - 敏捷场景文本图像综合与扩散模型
虽然扩散模型已显着提高了图像生成的质量，但它们在这些图像中准确且相干渲染文本的能力仍然是一个重大挑战。场景文本生成的常规基于扩散的方法通常受到对中间布局输出的依赖的限制。这种依赖性通常会导致文本样式和字体的多样性限制，这是布局生成阶段的确定性质所引起的固有限制。为了应对这些挑战，本文介绍了SceneTeTgen，这是一种基于新颖的扩散模型，专门设计用于规避预定义布局阶段的需求。这样做，场景 - 文本促进了文本的更自然和多样化的代表。SceneTextGen的新颖性在于其三个关键组成部分的整体：一个字符级编码器，用于捕获详细的印刷属性，并与字符级实例分割模型和Word-
大多数：运动预测的多模式场景象征化
许多现有的运动预测方法都依赖于符号感知输出来生成代理轨迹，例如边界框，路图信息和traf-fight。这种符号表示是现实世界的高级表现，它可能会使运动预测模型容易受到感知错误的影响（例如，在检测开放式录音障碍时失败），而缺少场景中的显着信息（例如，糟糕的道路条件）。另一种范式是从原始传感器中端到端学习。但是，这种方法缺乏解释性，需要大量的培训资源。在这项工作中，我们提出将视觉世界的标记化为一组紧凑的场景元素，然后利用预先训练的图像基础模型和LiDAR神经网络以开放式播音方式进行编码所有场景元素。图像基础模型使我们的场景令牌可以编码开放世界的一般知识，而LiDAR神经网络编码几何信息。我们提出的表示形式可以有效地用几百个令牌编码多帧多模式观察，并且与大多数基于变压器的体系结构兼容。为了评估我们的方法，我们使用了带有凸轮嵌入的Waymo开放运动数据集。通过Waymo开放运动数据集进行的实验表明，我们的方法会导致对最先进的表现的显着改善。