XiaoMi-AI文件搜索系统
World File Search SystemLLM
开放式：培训具有大规模合成角色的可自定义角色扮演的LLM
在大型语言模型（LLMS）中（也称为charcter概括）中可自定义的角色扮演，人们对其在开发和部署角色扮演的对话代理方面的多功能性和成本效率引起了人们的关注。本研究探讨了一种大规模数据合成方法，以配备LLM具有特征生成能力。我们首先使用角色中心的角色综合大规模角色概况，然后探索两种策略：响应重写和响应生成，以创建与角色一致的教学响应。为了验证我们的合成教学调谐数据的有效性以进行角色泛化，我们使用Llama-3 8B模型执行监督的微调（SFT）。我们表现最好的模型增强了原始的Llama-3 8b指导模型，并实现了与角色扮演对话的GPT-4O模型相当的性能。我们发布了1个合成字符和指导对话，以支持公共研究。
使用LLMS评估知识图构建
“知识图”一词自1972年以来就已经存在，但是当前的定义可以追溯到2012年的Google。随后是Airbnb，Amazon，Ebay，Facebook，IBM，LinkedIn，Microsoft和Uber等公司的类似公告，从而导致各种行业采用知识图（KG）。因此，近年来，该领域的学术研究激增，关于KGS的科学出版物越来越多[1]。这些图是利用基于图的数据模型来有效地管理，集成和提取来自大型和多样化数据集的宝贵见解[2]。kgs是结构化知识的存储库，组织成三联的集合，被指定为𝐾𝐺=（ℎ，𝑟，𝑡）⊆×𝑅×𝐸×𝐸×𝐸，其中e代表实体集，r代表关系的集合[1]。在图中，节点表示各个层次，实体或概念。这些节点包括各种类型，包括人，书籍或城市，并与位于，生活或与之合作之类的关系相互联系。kg的本质融合了多种类型的关系，而不是仅限于单一类型。kg的总体结构构成了一个实体网络，其语义类型，属性和互连。因此，构建kg需要有关
llms，chatgpt，接地，含义和理解
摘要：除了（Little）Openai可能对我们隐瞒的内容外，我们都知道（粗略地）大型语言模型（LLM）（例如ChatGpt）工作（其庞大的文本数据库，统计数据，矢量表示和大量参数，下一个单词培训等）。但是，我们当中没有人能说（衷心地），我们对Chatgpt所证明的能力对这些资源的作用并不感到惊讶。这甚至驱使我们中的一些人得出结论，Chatgpt实际上理解了。它不正确。，但我们了解它如何做能做的事情也不正确。我会建议一些有关良性“偏见”的预感 - 在LLM量表上出现的会议约束可能会帮助ChatGpt的表现比我们预期的要好。这些偏见是语言本身，LLM量表的本质上固有的，它们与Chatgpt缺乏的是紧密相关的，这是直接的感觉运动接地，可以将其单词与引用者及其命题联系起来。这些收敛性偏见与（1）间接言语基础在直接感觉运动基础上的寄生虫有关，（2）语言定义的循环，（3）语言生产和理解的“镜像”，（4）在LLM量表上以LLM量表的命题中的标志性，（（5）人类的“人类知识）”，也许是“类别”的“类别”。乔姆斯基的猜想是关于思想定律。博览会将以与Chatgpt-4的对话形式。
这是你，llm吗？使用多语言代码样式测量识别AI编写的程序
摘要 - 基于LLM的代码完成者（例如GitHub Copilot）的日益普及，对自动检测AI生成的代码的兴趣也在增加 - 特别是在由于安全性，知识产权或道德问题所致的策略所禁止的LLMS程序所禁止使用LLMS程序的情况下。我们介绍了一种针对AI代码风格测量学的新颖技术，即，基于基于变压器的编码器分类器，将LLMS生成的代码与人类编写的代码区分代码的能力。与以前的工作不同，我们的分类器能够通过单个机器学习模型在10种不同的编程语言上检测AI编写的代码，从而在所有语言中保持高平均精度（84.1％±3.8％）。与分类器一起，我们还发布了H-AiroSettamp，这是一个针对AI代码定型任务的新颖的开放数据集，由121个247代码片段组成10种流行的编程语言，被标记为人文编写或AI生成。实验管道（数据集，培训代码，结果模型）是AI代码风格任务的第一个完全可重现的。最值得注意的是，我们的实验仅依赖于开放的LLM，而不是诸如Chatgpt这样的专有/封闭的LLM。索引术语 - 编码样式，大语言模型，AI检测，代码生成，数据出处，深度学习
共享的想象力：LLMS幻觉
尽管最近大语言模型（LLM）的扩散，但他们的培训配方 - 模型架构，培训数据和优化算法 - 通常非常相似。这自然提出了所得模型之间相似性的问题。在此过程中，我们提出了一个新颖的设置，虚构的问题回答（IQA），以更好地理解模型相似性。在IQA中，我们要求一个模型生成纯粹的虚构问题（例如，在物理学中的完全构成概念上），并促使另一个模型回答。令人惊讶的是，尽管这些问题完全是虚构的，但所有模型都可以以显着的一致性来回答彼此的问题，这表明了这些模型在此类幻觉中运行的“共同想象空间”。我们对这种现象进行了一系列研究，并讨论了这种模型均匀性对幻觉检测和计算创造力的含义。我们将在公共网站上发布并维护代码和数据。
具有高带宽内存的微调LLM的效果
近年来，NLP模型的快速发展主要是通过Google和多伦多大学研究人员开发的变压器体系结构[2] B。变压器体系结构最初用于翻译语言，但是由于其出色的计算性能（通过并行处理所有输入），而不是先前使用的体系结构，因此在几种情况下已经探索了它。此外，由于它在独特的下游应用程序中取得了成功（文本摘要，自动完成，聊天对话生成等。），多年来NLP模型中的参数数量迅速增加，如图1所示。该图显示了自2017年以来模型大小的演变，从变压器模型开始于2017年6月Google宣布的6500万参数。使用虚线描绘了大于1万亿的型号。我们包含的最大模型可以实现以上的参数大小，因为它们使用稀疏激活的结构，在推断期间，只有LLM的一部分神经元的一部分被激活，而不是全部。但是，它们的广泛采用受到复杂性，沟通成本和培训不稳定性等因素的阻碍[15]。尽管存在这些障碍，但它们的建筑设计应被视为未来模型缩放的有力候选人。此外，诸如GPT-4和Gemini之类的模型以其多模式功能而闻名，这不仅可以处理文本，还可以处理诸如Image，Video和Audio之类的视觉和听觉输入。图1基于参考文献[1]中的信息。
基于LLM的SPARQL查询生成从自然语言上通过联合知识图
在生物信息学中，查询复杂知识图（kgs）的能力对于提取有意义的见解至关重要。但是，手动制作SPARQL查询，尤其是跨多个连接的KGS的联合查询，甚至对于专家而言，甚至可能是一项耗时且具有挑战性的任务。这导致人们对知识图答录（KGQA）系统的需求不断增长，该系统可以将自然语言查询转化为SPARQL，从而弥合用户问题与可用结构化数据之间的差距。大型语言模型（LLMS）提供了一个令人兴奋的机会来应对这一挑战，从而有可能自动从自然语言输入中产生准确的SPARQL查询。然而，尽管LLM在该领域表现出了令人印象深刻的能力[1] [2]，但当前的系统难以处理大规模，不断发展的kg，例如SIB Swiss Swiss生物信息学研究所的目录[3]。在这项工作中，我们提供了一种解决方案，旨在帮助SIB的生物信息学KGS [4]，例如Uniprot [5]，BGEE [6]或OMA [7]，以探索和查询可用数据。我们的方法利用LLM和端点元数据来生成SPARQL查询，同时解决动态整合不断发展的数据集的挑战，而无需持续不断的再培训。通过提供可扩展的系统1，以适应生物信息学知识的复杂且不断变化的景观，我们的目标是显着减少在联邦公里范围内查询的时间和专业知识所需的时间和专业知识。
llms用于药物相互作用预测
现代治疗方案中药物组合的增加需要可靠的方法来预测药物相互作用（DDIS）。虽然大型语言模型（LLMS）已重新提到了各个领域，但它们在药物研究中的潜力，尤其是在DDI预测中，仍然在很大程度上没有探索。这项研究通过唯一处理分子结构（微笑），靶生物和基因相互作用数据作为最新药品库数据集的原始文本输入来彻底研究LLMS在预测DDI方面的能力。我们评估了18种不同的LLM，包括专有模型（GPT-4，Claude，Gemini）和开源变体（从1.5B到72B参数），首先评估其在DDI预测中的零击功能。然后我们微调选定的模型（GPT-4，PHI-3.5 2.7b，QWEN-2.5 3B，GEMMA-2 9B和DEEPSEEK R1蒸馏QWEN 1.5B），以优化其性能。我们的全面评估框架包括对13个外部DDI数据集进行验证，并与传统方法（例如L2登记的逻辑回归）进行了比较。微型LLMS表现出卓越的性能，PHI-3.5 2.7b在DDI预测中达到0.978的灵敏度，在平衡数据集中的准确性为0.919（50％正，50％负案例）。此结果代表了用于DDI预测的零射击预测和最新的机器学习方法的改进。我们的分析表明，LLM可以有效地捕获复杂的分子相互作用模式和药物对以共同基因为目标的情况，从而使其成为药物研究和临床环境中实际应用的宝贵工具。
语言写得很大：llms，chatgpt，含义和理解
除了（Little）OpenAI可能向我们隐瞒的内容外，我们都知道（大致）（llms）的大型语言模型（例如ChatGpt）工作（其庞大的文本数据库，统计数据，矢量表示和大量参数，下言培训等）。但是，我们当中没有人能说（衷心地），我们对Chatgpt所证明的能力对这些资源的作用并不感到惊讶。这甚至驱使我们中的一些人得出结论，Chatgpt实际上理解了。它不正确。，但我们了解它如何做能做的事情也不正确。我会建议一些有关良性“偏见”的预感 - 在LLM量表上出现的会议约束可能会帮助ChatGpt的表现比我们预期的要好。这些偏见是语言本身，LLM量表的本质上固有的，它们与Chatgpt缺乏的是紧密相关的，这是直接的感觉运动接地，可以将其单词与引用者及其命题联系起来。这些收敛性偏见与（1）间接言语基础在直接感觉运动基础上的寄生虫有关，（2）语言定义的循环，（3）语言生产和理解的“镜像”，（4）在LLM量表上以LLM量表的命题中的标志性，（（5）人类的“人类知识）”，也许是“类别”的“类别”。乔姆斯基的猜想是关于思想定律。博览会将以与Chatgpt-4的对话形式。
LLM网络评估不会捕获现实世界的风险
大型语言模型（LLMS）证明了网络安全应用中的能力提高，从而在增强防御力的潜力并带来了固有的风险。在该立场论文中，我们认为当前评估这些能力带来的风险的努力是错误的，目的是了解现实世界的影响。评估LLM网络安全风险不仅仅是衡量模型的帽子，还需要一项全面的风险评估，结合了对威胁行为者采用行为和影响潜力的分析。我们为LLM网络能力提出了一个风险评估框架，并将其应用于用作网络安全协会的语言模型的案例研究。我们对边境模型的评估揭示了较高的合规率，但对现实的网络援助任务的准确性适中。但是，我们的框架表明，由于运营优势有限和潜在的影响，此特殊用例仅带来适度的风险。基于这些发现，我们建议一些改进的研究优先级与现实世界影响评估相结合，包括更紧密的学术界合作，对攻击者行为的更现实的建模以及将经济指标纳入评估。这项工作是朝着更有效评估和缓解LLM支持网络安全风险的重要一步。