XiaoMi-AI文件搜索系统
World File Search SystemLLMs
LimSim++：用于在自动驾驶中部署多模态LLM的闭环平台
摘要 — 多模态大型语言模型 ((M)LLM) 的出现为人工智能开辟了新途径，尤其在自动驾驶领域，它提供了增强的理解和推理能力。本文介绍了 LimSim++，它是 LimSim 的扩展版本，专为 (M)LLM 在自动驾驶中的应用而设计。考虑到现有仿真平台的局限性，LimSim++ 满足了对支持自动驾驶持续学习和提高泛化能力的长期闭环基础设施的需求。该平台提供长时间、多场景模拟，为 (M)LLM 驱动的车辆提供关键信息。用户可以参与即时工程、模型评估和框架增强，使 LimSim++ 成为一个多功能的研究和实践工具。本文还介绍了一个基线 (M)LLM 驱动的框架，该框架通过在不同场景中的定量实验进行了系统验证。LimSim++ 的开源资源位于：https://pjlab-adg.github.io/limsim-plus/ 。索引词——自动驾驶汽车、闭环仿真、大型语言模型、知识驱动代理
使用LLMS构建网络安全AI助手
问：什么是Kerberoasting攻击？ A：对手可能会滥用有效的Kerberos票务票（TGT）或嗅探网络流量，以获取可能容易受到蛮力攻击的机票授予服务（TGS）票。 服务主名（SPN）用于唯一标识Windows服务的每个实例。 要启用身份验证，Kerberos要求SPN与至少一个服务登录帐户相关联（该帐户（专门负责运行服务的帐户）。具有有效Kerberos票务票证（TGT）的逆境者可能会请求一个或多个Kerberos门票票务服务（TGS）服务票证（TGS）服务票证票来自任何SPN。 这些票证的部分可以用RC4算法进行加密，这意味着与SPN相关的服务帐户的Kerberos 5 TGS-REP ETYPE 23哈希H被用作私钥，因此很容易受到脱机蛮力攻击的攻击，可能会揭示出明文的凭据。问：什么是Kerberoasting攻击？A：对手可能会滥用有效的Kerberos票务票（TGT）或嗅探网络流量，以获取可能容易受到蛮力攻击的机票授予服务（TGS）票。服务主名（SPN）用于唯一标识Windows服务的每个实例。要启用身份验证，Kerberos要求SPN与至少一个服务登录帐户相关联（该帐户（专门负责运行服务的帐户）。具有有效Kerberos票务票证（TGT）的逆境者可能会请求一个或多个Kerberos门票票务服务（TGS）服务票证（TGS）服务票证票来自任何SPN。这些票证的部分可以用RC4算法进行加密，这意味着与SPN相关的服务帐户的Kerberos 5 TGS-REP ETYPE 23哈希H被用作私钥，因此很容易受到脱机蛮力攻击的攻击，可能会揭示出明文的凭据。
llms无法可靠地识别和理由有关安全漏洞的理由（目前？）：全面的评估，框架和基准测试
摘要 - LARGE语言模型（LLMS）已被用来用于自动化漏洞维修中，但是台上标记表明它们可以始终如一地识别与安全性相关的错误。因此，我们开发了Secllmholmes，这是一个完全拟定的评估框架，该框架迄今为止对LLMS是否可以可靠地识别和有关安全相关的错误进行了最详细的调查。我们构建了一组228个代码方案，并使用我们的框架分析了八个不同调查维度的八个最有能力的LLM。我们的评估表明LLM提供了非确定性的反应，不正确且不忠的推理，并且在现实世界中的表现不佳。最重要的是，我们的发现在最先进的模型（例如“ Palm2”和“ GPT-4”（GPT-4'）中揭示了明显的非舒适性：仅通过更改函数或可变名称，或通过在源代码中添加库函数，这些模型分别在26％和17％的情况下可以产生错误的答案。这些发现表明，在将LLMs用作通用安全助理之前，需要进一步的LLM前进。
整合生成LLM和需求工程
摘要本文概述了第七次关于需求工程的自然语言处理（NLP4RE）的主题演示文稿（NLP4RE），涉及使用生成大语言模型（LLMS）来解决需求工程（RE）任务。它强调了仅解码器llms的变革性影响，例如GPT等模型，包括RE，包括RE，因为它们具有出色的语言理解和发电能力。讨论集中在仅解码器的LLM如何革新需求启发，规范和验证过程中，可能会重塑RE景观。该论文构成了两个主要部分：第一个探讨了仅解码器模型在自动化任务中的应用，强调了更丰富的输出和新颖的交互范式，而第二部分则强调了精确要求在与这些模型，在与这些模型之间进行有效提示，绘制与这些模型的有效提示，绘制与这些模型的相互作用，绘制Pernepieication技术和提示技术的促进策略的关键作用。
antofact：通过本体驱动的强化学习揭示了LLM的奇妙事实 - 骨骼
大型语言模型（LLM）表现出了信息检索的熟练程度，而它们容易产生与现实冲突的不正确反应，这种现象被称为固有幻觉。关键挑战在于经过大量数据训练的LLM中不清楚和不可靠的事实分布。vreva-liment方法将事实检测任务视为一个问题 - 回答范式，在其中询问了LLMS有关FACTUAL知识并检查正确性的问题。但是，研究主要侧重于仅从几个特定领域（例如电影和运动）中得出测试用例，从而限制了对知识缺失的全面观察和对意外幻觉的分析。为了打扮这个问题，我们提出了构造，这是一个自适应框架，用于检测LLM的未知事实，致力于挖掘缺失知识的本体论级骨架。特定说明，我们认为LLM可以在缺失的事实中公开基于本体的相似性，并将五个代表知识图（kgs）作为基准。我们进一步设计了一种复杂的本体驱动的强化学习（ORL）机制，以自动与特定实体和关系产生易错的测试用例。Orl Mechamenism奖励KGS朝着可行的方向导航，以揭示事实错误。此外，经验努力表明，无论是否包括这些知识，主导的LLM都倾向于回答是的，而不是否定。使用32个代表性LLM的5个数据集上的实验结果表明，当前LLMS总体上缺乏事实。为了减轻LLM的过度自信，我们利用了无幻觉检测（HFD）策略来解决基线之间的不公平比较，从而提高了结果的稳健性。值得注意的是，CHATGPT在DBPEDIA上的事实错误率分别为51.6％，Yago的错误率分别为64.7％。另外，ORL机制显示出令人鼓舞的误差预测分数，大多数LLM的F1分数范围从70％到90％。与详尽的测试相比，ORL的平均召回率为80％，同时将评估时间降低35.29％至63.12％。
使用具有逻辑反馈的 LLM 生成药物发现的新线索
大型语言模型 (LLM) 可用作生物和化学信息库，以生成药理学先导化合物。然而，要使 LLM 专注于特定的药物靶点，通常需要使用逐步更精细的提示进行实验。因此，结果不仅取决于对靶点的了解，还取决于对提示工程的了解。在本文中，我们将提示分为可以以标准逻辑形式编写的领域约束和简单的基于文本的查询。我们研究是否可以引导 LLM，不是通过手动优化提示，而是通过自动优化逻辑组件，保持查询不变。我们描述了一个迭代过程 LMLF（“具有逻辑反馈的语言模型”），其中使用逻辑泛化概念逐步优化约束。在任何迭代中，都会根据约束验证新生成的实例，为下一次迭代对约束的优化提供“逻辑反馈”。我们使用两个众所周知的靶点（Janus 激酶 2 和多巴胺受体 D2 的抑制）和两个不同的 LLM（GPT-3 和 PaLM）来评估 LMLF。我们表明，从相同的逻辑约束和查询文本开始，LMLF 可以引导两个 LLM 生成潜在线索。我们发现：(a) LMLF 生成的分子的结合亲和力比现有基线的结合亲和力更偏向更高的结合亲和力；(b) LMLF 生成的分子比没有逻辑反馈的分子更偏向更高的结合亲和力；(c) 计算化学家的评估表明 LMLF 生成的化合物可能是新型抑制剂。这些发现表明，具有逻辑反馈的 LLM 可能提供一种生成新线索的机制，而无需领域专家获得复杂的快速工程技能。
使用LLMS生成具有特定任务的新蛋白质
Halima Bensmail卡塔尔计算研究所的目的：蛋白质的产生在诸如药物设计和蛋白质工程等领域具有广泛的应用前景，可以使用机器学习或深度学习，可以产生蛋白质序列。希望生成的序列具有良好的可折叠性，以便它们可以形成稳定的三维结构。此外，预期所需的蛋白质将表现出特定的功能特性，包括酶活性和抗体结合能力。大语言模型的进步和条件模型的整合已显着推动了蛋白质产生领域的进步。该模型（称为后代）将Uniprotkb关键字包含为2020年的条件标签。这些标签包括一个由各种类别组成的词汇，包括“生物过程”，“细胞成分”和“分子功能”。总共有条件的标签包含超过1,100个不同条款。在评估使用指标相似性，二级结构准确性和构象能产生的蛋白质序列时，它们表现出所需的结构特性。在2022年，受到生成变压器模型（例如GPT-X系列）的显着成就的启发，Protgpt2的发展出现了。值得注意的是，Protgpt2产生的蛋白质表现出符合天然原理的氨基酸倾向。看来Protgpt2已经获得了特定于蛋白质的语言。拟议的工作将重点介绍对这两种术语和Protgpt2的评估。涉及疾病和二级结构预测的评估表明，Protgpt2生成的蛋白质的绝大多数（88％）具有球形特征，与自然序列中的属性保持一致。在Protgpt2序列上采用AlphaFold会产生折叠的非思想结构，包括存在广泛的回路的存在以及当前结构数据库中不存在的以前看不见的拓扑结构。我们还将使用llms使用蛋白质序列作为输入来进行蛋白质功能预测，并为多种蛋白质任务（例如同源性预测）以及二级结构预测，蛋白质溶解度和蛋白质结晶微调模型，并将其与Sproberta进行比较。
在机器人技术中部署LLMS/VLM的安全问题突出了风险和漏洞
由于防御机制不足。例如，HAL-036语言模型的透明度和幻觉[14]可能会影响037对场景的可靠理解，从而导致机器人系统中不希望的038动作。另一个风险来源是039是LLMS/VLMS无法解决文本或图像提供的040上下文信息的歧义[35，52]。041由于当前语言模型通常遵循模板-042的提示格式来执行任务[16，29]，因此缺乏043在解决自然044语言的变体和同义词时缺乏灵活性也可能导致045个提示的误解[24，43]。此外，在提示046中使用多模式的输入增加了上下文理解的难度和047推理的难度，这可能导致更高的失败风险[8，18]。048在实际应用中，这些风险将对机器人系统的鲁棒性和安全构成重大挑战。050我们的目标是分析语言模型和机器人技术的可信度和可靠性051。在这方面，我们的目标是052通过广泛的实验提高对机器人应用程序054的最先进语言模型的安全问题的认识。我们表明，需要对该主题进行进一步的研究055，以安全地部署基于LLM/VLM的056机器人，以实现现实世界应用程序。我们的主要重点是057
LLM和XR
在接下来的几年中，软件开发将会改变。gen-generative ai（人工智能），主要是通过机器学习LLM（大型语言模型）用于协助计划任务。从与生成AI代理的配对编程到自动生成代码，对其进行解释或生成测试套件，全球正在探索新的编码方式。如果这项新技术的承诺提供了，我们可以期望软件的开发和维护方式发生了根本性的变化，并且生成AI的参与更加激烈。同样在几年内，与计算机交互的主要接口可能会发生变化。更轻巧，更强大，更强大但更少的能源消耗的虚拟和增强现实设备有望开发，从而导致具有常规眼镜的外形，台式机的计算能力以及手机的连接性的设备。如果这种趋势实现，与计算机交互的首选平均值可能为XR（扩展现实）。