XiaoMi-AI文件搜索系统
World File Search SystemLMs
llms软件安全性：脆弱性检测技术和见解的调查
大型语言模型（LLMS）正在作为用于软件漏洞检测的变革性工具。传统方法，包括静态和动态分析，效率的面部限制，假阳性率以及可扩展性，具有现代软件复杂性。通过代码结构分析，模式识别和修复建议生成，LLMS展示了一种新颖的减轻脆弱性方法。本调查研究了漏洞检测，分析问题制定，模型选择，应用方法，数据集和评估指标的LLM。我们研究当前的研究挑战，强调跨语言检测，多模式整合和存储库级分析。根据我们的发现，我们提出了解决数据集可伸缩性，模型解释性和低资源场景的解决方案。我们的贡献包括：（1）对漏洞检测中LLM应用的系统分析； （2）一个统一的框架研究了研究的模式和变化； （3）确定关键挑战和研究方向。这项工作提高了对基于LLM的漏洞检测的理解。最新发现在https://github.com/owensanzas/llm-for-vulnerability-detection
开放式：培训具有大规模合成角色的可自定义角色扮演的LLM
在大型语言模型（LLMS）中（也称为charcter概括）中可自定义的角色扮演，人们对其在开发和部署角色扮演的对话代理方面的多功能性和成本效率引起了人们的关注。本研究探讨了一种大规模数据合成方法，以配备LLM具有特征生成能力。我们首先使用角色中心的角色综合大规模角色概况，然后探索两种策略：响应重写和响应生成，以创建与角色一致的教学响应。为了验证我们的合成教学调谐数据的有效性以进行角色泛化，我们使用Llama-3 8B模型执行监督的微调（SFT）。我们表现最好的模型增强了原始的Llama-3 8b指导模型，并实现了与角色扮演对话的GPT-4O模型相当的性能。我们发布了1个合成字符和指导对话，以支持公共研究。
使用LLMS评估知识图构建
“知识图”一词自1972年以来就已经存在，但是当前的定义可以追溯到2012年的Google。随后是Airbnb，Amazon，Ebay，Facebook，IBM，LinkedIn，Microsoft和Uber等公司的类似公告，从而导致各种行业采用知识图（KG）。因此，近年来，该领域的学术研究激增，关于KGS的科学出版物越来越多[1]。这些图是利用基于图的数据模型来有效地管理，集成和提取来自大型和多样化数据集的宝贵见解[2]。kgs是结构化知识的存储库，组织成三联的集合，被指定为𝐾𝐺=（ℎ，𝑟，𝑡）⊆×𝑅×𝐸×𝐸×𝐸，其中e代表实体集，r代表关系的集合[1]。在图中，节点表示各个层次，实体或概念。这些节点包括各种类型，包括人，书籍或城市，并与位于，生活或与之合作之类的关系相互联系。kg的本质融合了多种类型的关系，而不是仅限于单一类型。kg的总体结构构成了一个实体网络，其语义类型，属性和互连。因此，构建kg需要有关
llms，chatgpt，接地，含义和理解
摘要：除了（Little）Openai可能对我们隐瞒的内容外，我们都知道（粗略地）大型语言模型（LLM）（例如ChatGpt）工作（其庞大的文本数据库，统计数据，矢量表示和大量参数，下一个单词培训等）。但是，我们当中没有人能说（衷心地），我们对Chatgpt所证明的能力对这些资源的作用并不感到惊讶。这甚至驱使我们中的一些人得出结论，Chatgpt实际上理解了。它不正确。，但我们了解它如何做能做的事情也不正确。我会建议一些有关良性“偏见”的预感 - 在LLM量表上出现的会议约束可能会帮助ChatGpt的表现比我们预期的要好。这些偏见是语言本身，LLM量表的本质上固有的，它们与Chatgpt缺乏的是紧密相关的，这是直接的感觉运动接地，可以将其单词与引用者及其命题联系起来。这些收敛性偏见与（1）间接言语基础在直接感觉运动基础上的寄生虫有关，（2）语言定义的循环，（3）语言生产和理解的“镜像”，（4）在LLM量表上以LLM量表的命题中的标志性，（（5）人类的“人类知识）”，也许是“类别”的“类别”。乔姆斯基的猜想是关于思想定律。博览会将以与Chatgpt-4的对话形式。
共享的想象力：LLMS幻觉
尽管最近大语言模型（LLM）的扩散，但他们的培训配方 - 模型架构，培训数据和优化算法 - 通常非常相似。这自然提出了所得模型之间相似性的问题。在此过程中，我们提出了一个新颖的设置，虚构的问题回答（IQA），以更好地理解模型相似性。在IQA中，我们要求一个模型生成纯粹的虚构问题（例如，在物理学中的完全构成概念上），并促使另一个模型回答。令人惊讶的是，尽管这些问题完全是虚构的，但所有模型都可以以显着的一致性来回答彼此的问题，这表明了这些模型在此类幻觉中运行的“共同想象空间”。我们对这种现象进行了一系列研究，并讨论了这种模型均匀性对幻觉检测和计算创造力的含义。我们将在公共网站上发布并维护代码和数据。
具有高带宽内存的微调LLM的效果
近年来，NLP模型的快速发展主要是通过Google和多伦多大学研究人员开发的变压器体系结构[2] B。变压器体系结构最初用于翻译语言，但是由于其出色的计算性能（通过并行处理所有输入），而不是先前使用的体系结构，因此在几种情况下已经探索了它。此外，由于它在独特的下游应用程序中取得了成功（文本摘要，自动完成，聊天对话生成等。），多年来NLP模型中的参数数量迅速增加，如图1所示。该图显示了自2017年以来模型大小的演变，从变压器模型开始于2017年6月Google宣布的6500万参数。使用虚线描绘了大于1万亿的型号。我们包含的最大模型可以实现以上的参数大小，因为它们使用稀疏激活的结构，在推断期间，只有LLM的一部分神经元的一部分被激活，而不是全部。但是，它们的广泛采用受到复杂性，沟通成本和培训不稳定性等因素的阻碍[15]。尽管存在这些障碍，但它们的建筑设计应被视为未来模型缩放的有力候选人。此外，诸如GPT-4和Gemini之类的模型以其多模式功能而闻名，这不仅可以处理文本，还可以处理诸如Image，Video和Audio之类的视觉和听觉输入。图1基于参考文献[1]中的信息。
语言写得很大：llms，chatgpt，含义和理解
除了（Little）OpenAI可能向我们隐瞒的内容外，我们都知道（大致）（llms）的大型语言模型（例如ChatGpt）工作（其庞大的文本数据库，统计数据，矢量表示和大量参数，下言培训等）。但是，我们当中没有人能说（衷心地），我们对Chatgpt所证明的能力对这些资源的作用并不感到惊讶。这甚至驱使我们中的一些人得出结论，Chatgpt实际上理解了。它不正确。，但我们了解它如何做能做的事情也不正确。我会建议一些有关良性“偏见”的预感 - 在LLM量表上出现的会议约束可能会帮助ChatGpt的表现比我们预期的要好。这些偏见是语言本身，LLM量表的本质上固有的，它们与Chatgpt缺乏的是紧密相关的，这是直接的感觉运动接地，可以将其单词与引用者及其命题联系起来。这些收敛性偏见与（1）间接言语基础在直接感觉运动基础上的寄生虫有关，（2）语言定义的循环，（3）语言生产和理解的“镜像”，（4）在LLM量表上以LLM量表的命题中的标志性，（（5）人类的“人类知识）”，也许是“类别”的“类别”。乔姆斯基的猜想是关于思想定律。博览会将以与Chatgpt-4的对话形式。
关于AI大语言模型（LLM）的大惊小怪是什么？
培训过程LLM对来自Internet，书籍，文章，网站的大量文本数据进行了“培训”，基本上是用书面语言的所有内容。在培训期间，它学习了单词，短语和概念之间的模式，联系和关系。它不仅记住文本，而且还学习了语言通常如何流动以及不同的想法在输入提示（通常是问题或命令）中的模式识别中如何连接到LLM，它将分析输入并预测最有可能基于培训期间学到的所有模式来进行下一个文本。不断计算哪些单词和短语最有可能彼此关注的概率。响应生成它通过一次预测一个单词来生成响应，始终选择在上下文中有意义的下一个单词。这很快就会发生，使响应感觉自然而连贯的是要理解的关键是，LLM并没有像人类那样真正“理解”语言 - 他们擅长根据统计模式预测和生成文本，但它们没有真正的理解或意识。当您提出问题时，LLM不会搜索数据库以寻求答案。相反，它在数学上计算了逻辑上遵循输入的最可能的单词序列。
大语言模型（LLM）的兴起
分析临床试验数据对于评估新疗法的功效和安全性至关重要。传统上，此过程需要在生物医学，临床研究，生物统计学和数据科学方面的专业专业知识，通常使其劳动密集型，耗时且昂贵[1]。对于缺乏数据分析培训的临床医生和研究人员，复杂的统计要求可能会成为重大障碍，从而导致将研究结果转化为临床实践的延迟。以大数据集和多个终点为特征的现代临床试验的复杂性日益加剧，加剧了这些挑战[2]。临床试验越来越依赖的不同原始和次要数据源的整合进一步强调了对处理复杂的，异质数据的先进分析工具的需求。介入的临床试验依赖于严格的协议下的一致记录保存，涉及多个学科的专家，包括 - 疾病生物学，专科临床护理，毒理学，转化科学，生物统计学，生物分析科学，监管事务，监管事务和生物医学伦理学。每个领域都为试验设计提供了重要的要素，以确保试验的各个方面都符合监管标准和科学严格的严格性，以产生有关治疗功效和安全性的证据。
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验