尽管最近展示了视力模型的进步,但使用自然语言描述图像中复杂关系的能力,但它们对物体大小和距离进行定量研究的能力仍未得到充实。在这项工作中,我们介绍了一个手动注释的基准Q-As-Spatial Batch,其中有271个问题,旨在定量空间原因,并系统地研究了最新的VLMS对此任务的表现。我们的分析表明,对物体之间的差异的推理对SOTA VLM尤其挑战。但是,有些VLM的表现明显优于其他VLM,两个最佳性能模型之间的差距超过40点。我们还令人惊讶地观察到,当使用参考对象的推理路径在响应中自然出现时,表现最佳VLM的成功率会增加19点。受到这一观察的启发,我们开发了一种零射击提示技术,即“空间”,该技术鼓励VLMS使用参考对象作为视觉提示,从而鼓励VLMS进行定量的空间问题。通过指示VLM通过空间启示,Gemini 1.5 Pro,Gemini 1.5 Flash和GPT-4V在其理性路径中使用参考对象,将其成功率提高了40、20和30点,并显着地提高了其成功率。我们强调,可以获得这些重大改进,而无需更多的数据,模型架构修改或微调。1
探索大语模型(LLM)在解决难题中的能力(LLM)宣传对AI中潜在和挑战的洞察力,这标志着将其适用于复杂的重新执行任务迈出的重要一步。这项调查利用了独特的分类法 - 将难题分为基于规则和规则的类别 - 通过各种方法进行了严格的评估LLM,包括提示技术,神经符号符号和微调。通过对相关数据集和基准测试的批判性审查,我们评估了LLMS的性能,并在复杂的难题场景中确定了重大挑战。我们的发现突出了LLM功能和类似人类的推理之间的差异,尤其是在需要先进逻辑推断的推理的情况下。该调查强调了新型策略和更丰富的数据集的必要性,以提高LLMS的拼图解决能力,并有助于AI的逻辑推理和解决问题的问题。
大型语言模型(LLM)和视觉语言模型(VLM)在各种任务和域中都具有出色的性能。尽管有希望,空间理解和推理(人类认知的基本组成部分)被认为是探索的。我们提出了Spatialeval,这是一种新颖的基准,涵盖了空间推理的各个方面,例如关系理解,导航和计数。我们对竞争语言和视觉语言模型进行了全面评估。我们的发现揭示了文献中忽略的几种违反直觉的见解:(1)空间推理提出了重大挑战,竞争模型可以落后于随机猜测; (2)尽管有其他视觉输入,但与LLM的同行相比,VLM的表现经常不足; (3)当提供文本和视觉信息时,如果提供了足够的文本线索,多模式的语言模型就会减少视觉信息。此外,我们证明了视觉和文本之间的冗余可以显着提高模型性能。我们希望我们的研究能够为多模式模型的发展提供信息,以改善空间智能并通过人类智能进一步缩小差距。我们的代码可在https://github.com/jiayuww/spatialeval上找到。
能源效率:与传统数字加速器相比,ADELIA 的模拟数字架构可将功耗降低高达 90%。这使其成为电池供电设备的理想选择。超低延迟:ADELIA 的高速处理能力支持需要快速响应的实时应用。这对于实时分析等任务至关重要。软件工具链:ADELIA 配备了强大的软件开发工具包,可简化神经网络的优化和部署。多功能性:ADELIA 用途广泛,可用于各种 AI 应用,包括图像和语音识别、自然语言处理和医疗诊断。易于实现对客户要求的适应。
合适规模的 AI 计算 在快速发展的 AI 部署领域,“合适规模的计算”概念已成为 AI 推理的关键策略。这意味着精确校准计算资源以满足 AI 应用程序的需求,重点是实现性能、功耗和成本效率之间的最佳平衡。随着 AI 部署量不断激增,精简基础设施的必要性日益突出,需要采取一种全面的方法,满足延迟和吞吐量要求,同时精心管理与采购、数据中心基础设施、房地产、能耗、冷却和其他运营开销相关的成本。仅仅将更昂贵、耗电更大、专业化程度更狭窄的硬件投入 AI 无法满足所需规模的业务需求。
1.2 挑战与影响 ARC 公开测试中,人类的平均表现准确率超过 60%[ 3 ]。相反,最有能力的模型利用 SOTA LLM[ 4 ] 也只能达到 50% 以下的准确率。考虑到大量的预训练数据,当前人工智能与人类之间的差距更加明显。对 ARC 竞赛解决方案的研究可以为我们对人类思维中的直觉和推理过程进行建模提供重要见解,促进新型人工智能范式的构建。同时,“[至少,解决 ARC-AGI 将产生一种新的编程范式[ 5 ]”,只需展示几个输入输出示例,就可以让没有编码经验的人进行程序合成。2 竞赛细节 数据集 ARC Prize 竞赛提供三个数据集:公共训练集、公共评估集和私有评估集。公共训练集和公共评估集均包含 400 个任务文件,而私有评估集包含 100 个任务文件。每个任务有 2 到 10 对(通常为 3 个)示例和 1 到 3 对(通常为 1 个)测试[2, 6]。指标 我们可以通过两种方法评估性能: 1)像素正确性 - 正确推断的像素占总数的百分比; 2)正确/不正确 - 推断的输出在形状、颜色和位置方面是否与任务的测试输出相匹配。竞赛使用第二种方法评估提交内容[6]。
在人类填充的环境中使用移动机器人已成为机器人技术中的关键研究领域,并体现了AI。最初,研究集中于在人类相互作用有限的结构化环境中运行的机器人。然而,随着对机器人在更具动态和不可预测的环境中的需求不断增长,研究越来越集中于改善适应性和增强人类机器人协作。Chung等。 [1]探讨了移动机器人如何自主收集和传输环境数据以支持人类活动。 各种研究人员,例如Zhang等。 [2],Trautman和Krause [3],Truong和Ngo [4],Trautman等。 [5],检查了在复杂的,以人为中心的环境中运作的移动机器人的强大导航策略。 另外,Liang等。 [6]引入了一种方法,可以通过对话处理来确定人类的动态位置。 Triebel等。 [7]开发了一个机器人的系统,以感知,学习和模拟人类的社会行为,使他们能够在互动中做出适当的实时决策。Chung等。[1]探讨了移动机器人如何自主收集和传输环境数据以支持人类活动。各种研究人员,例如Zhang等。[2],Trautman和Krause [3],Truong和Ngo [4],Trautman等。[5],检查了在复杂的,以人为中心的环境中运作的移动机器人的强大导航策略。另外,Liang等。[6]引入了一种方法,可以通过对话处理来确定人类的动态位置。Triebel等。[7]开发了一个机器人的系统,以感知,学习和模拟人类的社会行为,使他们能够在互动中做出适当的实时决策。
机器人群是由许多简单的机器人组成的,这些机器人可以交流和劳动以完成复杂的任务。机器人控制器通常需要由专家通过编程代码在情况下指定。此过程很耗时,容易出错,并且无法考虑部署期间可能遇到的所有情况。另一方面,最近的大型语言模式(LLMS)已展示了推理和计划功能,引入了与互动和编程机器进行交互的新方法,并纳入了特定领域和常识性知识。因此,我们建议通过将LLM与机器人群集成并展示概念证明的潜力(展示)来应对上述挑战。为此,我们探索了两种方法。第一种方法是“间接集成”,其中LLM用于合成和验证机器人控制器。这种方法可能会减少开发时间和部署前的人为错误。此外,在部署期间,它可以用于现实的新机器人行为。第二种方法是“直接集成”,每个机器人在部署机器人协作和人类处理交互期间本地执行单独的LLM实例。这些本地LLM实例使每个机器人都能使用自然语言进行推理,计划和协作,就像我们的展示案例中所阐述的那样,机器人能够检测到各种异常,而没有有关这些异常性质的事先信息。为了进一步研究我们的主要概念贡献,我们为LLM2SWARM系统发布了软件和视频:https://github.com/pold87/llm2swarm。
由深神经网络(DNN)赋予的自动驾驶汽车(AV)为我们的社会带来了变革性的变化。但是,他们通常容易受到对抗攻击的影响,尤其是在物理上可实现的扰动,这些扰动可能会误导感知并引起灾难性的结果。尽管现有的防御能够表现出成功,但仍需要提高鲁棒性,同时保持效率以实现实时系统操作。为了应对这些挑战,我们介绍了物理素,这是一种构成的解决方案,利用多方面的推理来进行误解检测和校正。此防御构建在物理特征上,包括静态和动态对象属性及其相互关系。为了有效地整合了这些不同的来源,我们基于条件随机字段开发了一个系统,该系统将对象和关系建模为空间 - 时空图,以在感知到的场景上进行整体推理。为了确保防御不会违反实时网络控制循环的时序要求,我们介绍了工作负载的运行时间特征,以并行化和管道执行量实现。通过模拟数据集和现实世界驾驶测试,可以在实验上验证物理的功效。它还证明了针对自适应攻击的弹性,以及将基本原则应用于视力超出视觉方式的其他方式的潜力。
定量推理:为小学学生开发解决问题的技能,定量推理有助于个人发展数学和分析技能以解决问题。这个概念对于小学生要掌握解决教科书问题背后的逻辑至关重要。在这里,我们将在3、4和5年级的尼日利亚学生推荐的教科书中进行示例。示例1:批判性地思考定量推理的一个优点是,它鼓励深入思考产生正确的答案。这里使用的技术涉及一种模式:(2*3)-5 = 1(16*3)-5 = 43(27*3)-5 = 76(40*3) - 5 = 115遵循此格式以解决其余问题:(10*3)-5 = 25 = 25(15*3)-5 = 40(33*3)-5 = 40(33*3) - 5 = 94(5 = 94(54(54))下面讨论:139 * 3 = 417 258 * 2 = 516以解决第一个问题,将113乘以5乘以565。因此,答案将在框中。示例3:分数和小数(9*4)除以9 = 36/3 = 12(36*5)/平方根的平方根36 = 180/6 = 30(64*2)/64 = 128/8 = 16示例的平方根/平方根示例4:模式和逻辑必须与行中的数字相同。对于第1行,数字为1、2、3、0、1。对于第1列,数字为1、2,G,0,T。G为3,T为1。对其余的使用相同的方法。示例5:第一个示例问题的模式和逻辑,将平方盒中的2和2取为22,并在三角形框中乘以3和6。然后减去圆形盒中的22 - (6*3)= 4。使用此方法解决图6-10的问题。第二个样本是18 - (2*5)= 8,第三个样本为22 - (7*3)= 1。示例6:求解图1-5的图案和逻辑,将前两列添加在一起以获取第三列。例如,4118 + 5420 = 9538和1257 + 3482 = 4739。另外,从第二列中减去第一列以获取第四列。例如,5420-4118 = 1302和3482-1257 = 2225。示例7:图案和逻辑如果查看第一个示例,请将左侧添加在一起(7+5+4+3 = 19)和右侧(9+12+15+21 = 57)。然后,乘以左侧的总和(19 x 3)以获取右侧的总和(57)。在第二个示例中相同:添加左侧(12+5+13+8 = 38)和右侧(24+36+36+15+39 = 114),然后将38乘以3乘以114。示例8:模式和逻辑(34/2) + 6 = 23(49/2) + 6 = 30 1/2(62/2) + 6 = 37(76/2) + 6 = 44使用此格式解决问题。示例9:第一个样本的模式和逻辑,格式为:(2+2+1+3)*3 = 24(0+4+3+6)*3 = 3 =练习1:第5-8页。答案:1。d2。b3。c4。d5。a6。A.6,000,000 + 51,000 + 500 =?答案:6,051,500