摘要 - 本文介绍了Gestllm,这是人类机器人相互作用的高级系统,可以通过手势来实现直观的机器人控制。与常规系统不同,该系统依赖于有限的预定义手势,Gestllm利用大型语言模型并通过MediaPipe [1]提取功能来解释各种各样的手势。该集成解决了现有系统中的关键局限性,例如受限的手势灵活性以及无法识别人类交流中常用的复杂或非常规的手势。通过结合最先进的功能提取和语言模型功能,Gestllm实现了与领先的视觉模型相当的性能,同时支持传统数据集中没有代表的手势。例如,这包括来自流行文化的手势,例如《星际迷航》的“瓦肯敬礼”,没有任何其他预处理,及时的工程等。这种灵活性增强了机器人控制的自然性和包容性,使互动更加直观和用户友好。gestllm在基于手势的相互作用方面提供了重要的一步,使机器人能够有效地理解和响应各种手势。本文概述了其设计,实施和评估,证明了其在高级人机协作,辅助机器人技术和互动娱乐中的潜在应用。索引条款 - llm;手势识别;机器人控制
1。熟悉ČEPS提供的有关电网不平衡的公开数据,以及主管提供的布拉格公共电动汽车充电会话的匿名数据。通过对齐时间表来确保数据集可比较。2。定义一个优化问题,可以通过受控的公共电动汽车充电来最大程度地减少电网失衡。在每个充电会话的完美信息的假设下描述一种最佳控制方法。3。实施最佳控制方法并评估其在最小化整个数据集的电网失衡时的性能。4。提出了基于机器学习的方法,该方法以有限的信息来解决方案,以了解每个充电会话的长度,电池充电状态以及会议期间电网不平衡的开发。评估机器学习模型的性能,并将其结果与最佳解决方案进行比较。5。衡量V2G技术对电网不平衡优化的潜在影响,在这种情况下,车辆可以将能量恢复到电网中,而不是仅像以前的情况一样局限于充电。应用以前使用的相同方法,并比较整个电网不平衡的变化以及机器学习性能。
传统的自主驾驶系统主要集中于做出决策而无需人类互动,忽略了人类的决策和人类的偏好,并在复杂的交通情况下忽略了。为了弥合这一差距,我们引入了一个新颖的框架,利用大型语言模型(LLM)从各种模拟场景和环境中学习以人为反馈的方式学习以人为本的驾驶决策。我们的贡献包括一个基于GPT-4的程序MING计划者,该计划者与现有的Carla Simulator无缝集成以了解交通场景并对人类说明做出反应。具体来说,我们建立了人类指导的学习管道,该管道将人类驾驶员的反馈直接纳入学习过程,并存储最佳的驾驶编程政策,以检索增强发电(RAG)。令人印象深刻的是,我们的编程规划师只有50个保存的代码片段,可以匹配基线经过广泛训练的型系统模型(RL)模型。我们的论文强调了LLM驱动的共享自治系统的潜力,从而将自动驾驶系统开发的前沿变得更加互动和直观。
Kitaev 蜂窝模型在量子自旋液体的探索中起着关键作用,其中分数准粒子将在无退相干拓扑量子计算中提供应用。关键因素是键依赖的 Ising 型相互作用,称为 Kitaev 相互作用,它需要自旋和轨道自由度之间的强纠缠。在这里,我们研究了显示稳健 Kitaev 相互作用的稀土材料的识别和设计。我们通过开发专为大规模计算而设计的并行计算程序,仔细研究了所有可能的 4 f 电子配置,这需要微扰过程中多达 600 多万个中间态。我们的分析表明,在所有 Kramers 二重态的实现中,各向同性的 Heisenberg J 和各向异性的 Kitaev K 相互作用之间都存在主要的相互作用。值得注意的是,具有 4 f 3 和 4 f 11 配置的实例展示了 K 相对于 J 的普遍性,这为探索化合物(包括 Nd 3 + 和 Er 3 +)中的 Kitaev 量子自旋液体带来了意想不到的前景。
。cc-by-nc-nd 4.0国际许可证(未获得同行评审证书)获得的是作者/资助者,他已授予Biorxiv授予Biorxiv的许可,以永久显示预印本。这是该版本的版权所有,该版本于2024年8月19日发布。 https://doi.org/10.1101/2024.07.30.605730 doi:Biorxiv Preprint
摘要 - 指导的进化,一种蛋白质工程的策略,通过严格且资源密集的筛查或在广泛的突变中进行筛选或选择的过程来优化蛋白质特性(即健身)。通过对序列属性进行计算机筛选,机器学习引导的定向进化(MLDE)可以加快优化过程并减轻实验工作量。在这项工作中,我们提出了一个通用的MLDE框架,在该框架中,我们应用了蛋白质表示学习和蛋白质属性预测中深度学习的最新进步,以加速搜索和优化过程。特别是我们引入了一条优化管道,该管道利用大型语言模型(LLMS)来查明序列中的突变热点,然后建议替换以提高整体适应性。与其他最先进的基线算法相比,我们提出的框架在条件蛋白质产生中的效率和功效提高了。我们希望这项工作将不仅对蛋白质工程,而且对使用数据驱动方法解决组合问题进行新的启示。我们的实施可在https://github.com/ hysonlab/directed Evolution上公开获取。
摘要 - 鉴于他们熟练使用非文本数据(包括图像和视频)的熟练程度,大型语言模型(MLLM)已成为研究界的重要领域。本研究旨在通过引入DraveGpt4(一种基于LLMS的新型可解释的最终自动驾驶系统)来扩展MLLM的应用到自动驾驶领域。能够处理多帧视频输入和文本查询,DriveGpt4促进了对车辆动作的解释,提供相关的推理,并有效地解决了用户提出的各种问题。此外,DriveGPT4以端到端方式预测低级车辆控制信号。通过使用定制的视觉说明调谐数据集实现了这些高级功能,该数据集是专门针对自主驾驶应用程序量身定制的,并结合了混合填充培训策略。DriveGpt4代表了利用LLM的开创性努力,以开发可解释的端到端自动驾驶解决方案。在BDD-X数据集上进行的评估展示了DriveGPT4的质量和定量性能。此外,特定于域的数据的精细调整使DriveGpt4在与GPT4-V形成对比时,可以在自主驾驶接地方面产生接近甚至改善的结果。本文的网页可在https://tonyxuqaq.github.io/projects/drivegpt4上找到。
摘要 - 我们提供了一种快速算法,用于设计平滑路径(或轨迹)的快速算法,这些算法被限制为位于轴对准框的集合中。我们考虑了这些安全盒子数量较大的情况,并且可以对它们进行基本的预处理(例如找到它们的交叉点)。在运行时,我们迅速在给定的初始位置和终端位置之间建立了平滑的路径。我们的算法设计轨迹始终是安全的,并且每当不存在这种轨迹时都可以检测到不可行的性能。我们的算法基于两个子问题,我们可以非常有效地解决:在加权图中找到最短路径,并解决(多个)凸点最佳控制问题。我们在大规模数字示例上演示了拟议的路径计划者,并提供了有效的开源软件,即快速图。
脑机接口 (BCI) 技术是一项突破性的创新,彻底改变了严重运动障碍患者与世界互动的方式。脑电图 (EEG) 传感器与 Brain Keyboard 等应用的集成标志着向前迈出了关键一步。通过捕捉和解释眨眼等简单动作触发的脑信号,这些传感器使用户能够控制虚拟键盘,超越了传统运动通路的限制。这种人脑与外部设备之间的直接通道为交流提供了前所未有的途径,对于那些患有瘫痪或闭锁综合症等疾病的人来说尤其宝贵。BCI 的深远影响远远超出了促进文本交流的范围;对于面临严重身体挑战的人来说,它们代表着一条生命线,是通往自主和参与的桥梁。通过这些界面,用户可以表达想法、表达情感并积极参与社交互动,从根本上提高他们的生活质量。这一技术奇迹不仅打破了沟通障碍,而且在更广泛的应用中也大有可为。随着 BCI 的发展,其潜力包括实现对机器人假肢的控制,使用户能够完成曾经被认为不可能完成的任务。此外,BCI 的影响延伸到神经科学领域,为理解认知过程和神经系统疾病提供了一个独特的窗口。解码和解释大脑活动的能力不仅有助于促进交流,而且还为开创性研究和潜在疗法铺平了道路。挑战依然存在,例如提高信号准确性和简化可用性,但 BCI 为运动障碍人士提供的显著好处继续推动这一充满活力的领域的持续创新。最终,EEG 传感器、处理单元和用户界面在 BCI 中的融合预示着一个包容性和赋权的新时代,以前因身体限制而被边缘化的个人将找到表达、互动和独立的新途径。这项变革性的技术不仅解锁了交流,而且是重塑我们对人类大脑及其复杂运作方式的理解的关键,有望在未来使残疾不再限制人们与世界互动的能力。
在国家统计局中存在专门和训练有素的单位,该办公室致力于直接与跨国公司参与并分析其全球公司和运营结构。这种方法是最有效的,很可能是确保全球化经济中国家业务和宏观经济统计质量(国民账户和支付平衡)确保确保大步迈进的唯一方法。本文调查了大型案例单位(LCU)的关键作用,作为一种战略手段,以应对经济全球化的复杂统计含义,显示了LCU在西班牙统计体系中的第一结果。
