XiaoMi-AI文件搜索系统
World File Search SystemLLM
LLM代理和工具使用
•山姆·奥特曼（Sam Altman）在他的关键笔记之一中说：“ GPT和助手是代理商的前身。他们将逐渐能够代表您计划并执行更复杂的动作。这些是我们迈向AI代理的第一步。”•比尔·盖茨（Bill Gates）在他的博客中写道：“代理商不仅会改变每个人与计算机互动的方式。他们还将颠覆软件行业，这是我们从打字命令到敲击图标以来的计算上最大的革命。”
Ayurjanakosh-使用LLM
摘要：Ayurjanakosh是一个创新的软件平台，旨在通过大语言模型彻底改变个性化的阿育吠陀医疗保健。该平台根据用户的Prakriti（宪法）和Dosha提供个性化的药物和配方建议，同时还考虑了病史。通过使用Langchain和标准化的数据模式，Ayurjanakosh确保了有效的语义搜索和个性化的健康见解。结果表明，个性化的医疗保健方面取得了重大进步，将古代阿育吠陀智慧与现代技术合并为整体健康管理。该项目解决了个性化的阿育吠陀解决方案的关键差距，从而在整体健康实践中得到了重大改进。关键字：阿育吠陀科学，聊天机器人，医疗保健，自然语言处理（NLP），LLM，lang链，语义搜索，矢量搜索。
关于大语言模型（LLM）的工作文件
2国家标准技术研究所，人工智能风险管理框架（AI RMF 1.0），2023年6月，https：//doi.org/10.6028/nist.ai.100-1。 3 United States, Executive Office of the President [Joseph Biden], Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence , October 30, 2023, https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-安全和信任的发展和人工智能使用。 4加州隐私保护局，风险评估和自动决策技术法规（2024年3月），https://cppa.ca.gov/meetings/materials/20240308_item4_item4_draft_risk.pdf;科罗拉多州SB 24-205，人工智能的消费者保护（2024），https：//leg.colorado.gov/bills/sb24-205。2国家标准技术研究所，人工智能风险管理框架（AI RMF 1.0），2023年6月，https：//doi.org/10.6028/nist.ai.100-1。3 United States, Executive Office of the President [Joseph Biden], Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence , October 30, 2023, https://www.whitehouse.gov/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-安全和信任的发展和人工智能使用。4加州隐私保护局，风险评估和自动决策技术法规（2024年3月），https://cppa.ca.gov/meetings/materials/20240308_item4_item4_draft_risk.pdf;科罗拉多州SB 24-205，人工智能的消费者保护（2024），https：//leg.colorado.gov/bills/sb24-205。
自适应迭代反馈提示通过llms
规划对于在复杂的决策任务中运作的代理商至关重要，尤其是在人类机器人互动（HRI）方案中，该方案通常需要适应性和导航动态环境的能力。大型语言模型（LLMS）以其出色的自然语言理解能力而闻名，通过处理上下文和语言提示，可以在HRI中提高HRI的计划。但是，它们的有效性受到空间推理中固有的缺点的限制。现有的基于LLM的计划框架通常取决于与经典计划方法结合或难以适应动态环境，从而限制了它们的实际适用性。本文审查了环境反馈机制和迭代计划是否可以增强LLM的计划能力。具体来说，我们提出了“自适应迭代反馈提示”（AIFP）路径计划框架。在AIFP中，LLM生成了部分轨迹，并通过环境反馈评估了潜在的碰撞。基于评估，AIFP升级了轨迹或重新计划。我们的初步结果表明，AIFP将基线的成功率提高了33。3％，并生成有效的，适当的复杂路径，使其成为动态HRI场景的有希望的方法。
使用fmri prompered llm
摘要 - 从大脑信号中解码语言信息代表了脑部计算机之间的重要研究领域，尤其是在解密fMRI信号的语义信息的背景下。尽管现有工作使用LLM来实现此目标，但他们的方法并未使用端到端方法，并且避免了fMRI到文本的映射中的LLM，为探索LLM在听觉解码中留下了空间。在本文中，我们引入了一种新颖的方法，即大脑提示GPT（BP-GPT）。通过使用从fMRI提取的大脑表示，我们的方法可以利用GPT-2将fMRI信号解码为刺激文本。此外，我们介绍了文本提示，并将fMRI提示对齐。通过引入文本提示，我们的BP-GPT可以提取更强大的大脑提示，并促进预训练的LLM的解码。我们在开源的听觉语义解码数据集上评估了BP-GPT，与现有方法相比，所有受试者的流星的显着提高了流星的4.61％，而BERTSCORE的BERTSCORE则获得了2.43％。实验结果表明，将大脑表示作为进一步驱动听觉神经解码的LLM的提示是可行有效的。该代码可在https://github.com/1994cxy/bp-gpt上获得。索引术语 - 神经解码，大语言模型，fMRI，脑部计算机界面。
LLMS中的图像理解
项目描述。大型语言模型（LLMS）的令人印象深刻的成功引发了管理多种方式以外的多种方式的需求。结果，已经出现了大型多模型（LMM），例如GPT-4V，GEMINI，DEEPSEEK-VL和QWEN2-VL。这些模型可以理解涉及视觉和语言的说明并采取行动，即，它们使用户能够上传图像并与LLM讨论。原则上，多模式变压器（例如剪辑和碎片）旨在处理文本和图像输入。这些模型在关节空间中处理视觉和文本数据。这使他们可以理解文本并将其连接到视觉表示。一般框架如下：i）图像特征首先是通过视觉变压器（例如VIT）提取的，该vit将视觉数据转换为嵌入，ii）文本输入由语言模型处理，该模型将文本模型转换为自己的嵌入，然后iiii iii）通过共享的变压器结构或通过交叉说明机构将两个嵌入式处理在一起。但是，有一些架构细节将这些模型彼此区分。
Tell-Drive：通过教师LLM引导深入强化学习
摘要 - 尽管深度强化学习（DRL）和大型语言模型（LLMS）每个人都在应对自动驾驶中的决策挑战方面有希望，但DRL通常会遭受较高的样本复杂性，而LLMS则难以确保实时决策。为了解决这些局限性，我们提出了Tell-Drive，这是一个混合框架，该框架集成了教师LLM，以指导基于注意力的学生DRL政策。通过将风险指标，历史场景检索和域启发式法纳入上下文提示中，LLM通过思想链推理产生高级驾驶策略。随后，一种自我发挥的机制将这些策略与DRL代理的探索，加速政策融合并提高各种驾驶条件的鲁棒性。在多种流量方案中评估的实验结果表明，就成功率，平均收益和实时可行性而言，Tell-Drive优于现有的基线方法，包括其他基于LLM的方法。消融研究强调了每个模型成分的重要性，尤其是注意机制和LLM驱动指导之间的协同作用。最后，我们构建了一个虚拟真实的融合实验平台，以验证通过车辆中的实验实验在真实车辆上运行的算法的实时性能，易损和可靠性。全面验证结果可在我们的网站上找到。
llms软件安全性：脆弱性检测技术和见解的调查
大型语言模型（LLMS）正在作为用于软件漏洞检测的变革性工具。传统方法，包括静态和动态分析，效率的面部限制，假阳性率以及可扩展性，具有现代软件复杂性。通过代码结构分析，模式识别和修复建议生成，LLMS展示了一种新颖的减轻脆弱性方法。本调查研究了漏洞检测，分析问题制定，模型选择，应用方法，数据集和评估指标的LLM。我们研究当前的研究挑战，强调跨语言检测，多模式整合和存储库级分析。根据我们的发现，我们提出了解决数据集可伸缩性，模型解释性和低资源场景的解决方案。我们的贡献包括：（1）对漏洞检测中LLM应用的系统分析； （2）一个统一的框架研究了研究的模式和变化； （3）确定关键挑战和研究方向。这项工作提高了对基于LLM的漏洞检测的理解。最新发现在https://github.com/owensanzas/llm-for-vulnerability-detection
Matterchat：材料科学的多模式LLM
理解和预测无机材料的特性对于加速材料科学和驱动能源，电子及其他方面的应用程序至关重要。通过多模式大语言模型（LLMS）将材料结构数据与基于语言的信息集成在一起，从而通过增强人类–AI相互作用为支持这些努力提供了巨大的潜力。但是，一个关键挑战在于将原子结构完全分辨到LLMS中。在这项工作中，我们引入了MatterChat，这是一种多功能结构感知的多模式LLM，将材料结构数据和文本输入统一为单个粘性模型。MatterChat采用桥接模块来有效地将预验证的机器学习间的原子势与验证的LLM保持一致，从而降低了培训成本并提高了灵活性。我们的结果表明，MatterChat显着提高了材料性质预测和人类相互作用的性能，超过了GPT-4等通用LLM。我们还证明了它在更先进的科学推理和逐步材料合成等应用中的有用性。