XiaoMi-AI文件搜索系统
World File Search System建模语言
ProGen：蛋白质生成的语言建模
蛋白质表征学习。自然语言处理中用于语境化表征的最新方法（McCann 等人，2017 年；Peters 等人，2018 年；Devlin 等人，2018 年）已被证明可以很好地用于语境蛋白质表征学习。可以使用线性方法从此类表征中提取有关蛋白质的结构信息，并且可以调整表征本身以提高其他任务的性能（Rives 等人，2019 年）。同样，UniRep（Alley 等人，2019 年）证明此类表征可用于预测天然和从头设计蛋白质的稳定性以及分子多样性突变体的定量功能。TAPE（Rao 等人，2019 年）是一个新的基准，由五个任务组成，用于评估此类蛋白质嵌入。虽然先前的研究主要集中于使用双向模型的可转移表示学习，但我们的工作展示了使用生成式单向模型的可控蛋白质工程。
系统工程语言建模助手（SELMA）
- 要求启发和发电：AI可以生成和分析利益相关者的投入和历史数据，以收集和优先考虑要求。- 自动一致性检查：AI可以识别要求的不一致，冗余和冲突。- 建筑创建：AI算法可以帮助生成和评估多个设计替代方案，并找到最佳的系统体系结构。详细的设计 - 开发详细的设计规范 - 创建设计模型和图表 - 审查和验证设计 - 选择工具和产品
对语言输入统计数据对...的影响进行建模
我们在一系列儿童与照顾者之间英语互动的纵向语料库上训练了一个计算模型（基于块的学习器，CBL），以测试一种拟议的统计学习机制——后向转换概率——是否能够稳定准确地预测儿童在成长最初几年的言语表达。我们预测，随着儿童年龄的增长，该模型重建儿童言语表达的准确性会降低，因为儿童逐渐开始使用抽象形式而不是来自其言语环境中的特定“块”来生成言语。为了验证这个想法，我们在一系列纵向儿童语言语料库中最近遇到的和累积的言语输入上训练了该模型。然后我们评估了该模型是否能够准确地重建儿童的言语。控制话语长度和重复块的存在后，我们没有发现任何证据表明 CBL 重建儿童言语表达的能力会随着年龄的增长而降低。
统一建模语言用户指南，统一...
I：入门 I：入门 1. 我们为何要建模 建模的重要性 建模原则 面向对象建模 2. UML 简介 UML 概述 UML 架构的概念模型 软件开发生命周期 3. 你好，世界！ 关键抽象 机制 组件 II：基本结构建模 II：基本结构建模 4. 类 入门 术语和概念 常见建模技术 提示和技巧 5. 关系 入门 术语和概念 常见建模技术 提示和技巧 6. 常见机制 入门 术语和概念 常见建模技术 提示和技巧 7. 图表 入门 术语和概念 常见建模技术 提示和技巧 8. 类图 入门 术语和概念 常见建模技术 提示和技巧
统一建模语言用户指南，统一...
I：入门 I：入门 1. 我们为何要建模 建模的重要性 建模原则 面向对象建模 2. UML 简介 UML 概述 UML 架构的概念模型 软件开发生命周期 3. 你好，世界！ 关键抽象 机制 组件 II：基本结构建模 II：基本结构建模 4. 类 入门 术语和概念 常见建模技术 提示和技巧 5. 关系 入门 术语和概念 常见建模技术 提示和技巧 6. 常见机制 入门 术语和概念 常见建模技术 提示和技巧 7. 图表 入门 术语和概念 常见建模技术 提示和技巧 8. 类图 入门 术语和概念 常见建模技术 提示和技巧
统一建模语言用户指南，统一...
I：入门 I：入门 1. 我们为何要建模 建模的重要性 建模原则 面向对象建模 2. UML 简介 UML 概述 UML 架构的概念模型 软件开发生命周期 3. 你好，世界！ 关键抽象 机制 组件 II：基本结构建模 II：基本结构建模 4. 类 入门 术语和概念 常见建模技术 提示和技巧 5. 关系 入门 术语和概念 常见建模技术 提示和技巧 6. 常见机制 入门 术语和概念 常见建模技术 提示和技巧 7. 图表 入门 术语和概念 常见建模技术 提示和技巧 8. 类图 入门 术语和概念 常见建模技术 提示和技巧
统一建模语言用户指南，统一...
I：入门 I：入门 1. 我们为何要建模 建模的重要性 建模原则 面向对象建模 2. UML 简介 UML 概述 UML 架构的概念模型 软件开发生命周期 3. 你好，世界！ 关键抽象 机制 组件 II：基本结构建模 II：基本结构建模 4. 类 入门 术语和概念 常见建模技术 提示和技巧 5. 关系 入门 术语和概念 常见建模技术 提示和技巧 6. 常见机制 入门 术语和概念 常见建模技术 提示和技巧 7. 图表 入门 术语和概念 常见建模技术 提示和技巧 8. 类图 入门 术语和概念 常见建模技术 提示和技巧
Spinnaker上的语言建模2神经形态芯片
随着大型语言模型的规模继续迅速扩展，运行它们所需的计算能力也是如此。基于事件的神经形态设备的网络提供了一种潜在的方法来大大减少推理的能源消耗。迄今为止，大多数基于事件的网络都可以在包括尖峰神经网络（SNNS）在内的神经形态硬件上运行，即使与LSTM模型相当，也无法实现任务性能。结果，对神经形态设备的语言建模似乎是一个遥远的前景。在这项工作中，我们基于最近发表的基于事件的架构The Egru，演示了在神经形态设备（特别是Spinnaker2芯片）上的第一个语言模型实现。spinnaker2是一种多核神经形态芯片，设计用于大规模异步处理，EGRU构建以有效地利用此类硬件，同时保持竞争性任务绩效。此实现标志着神经形态语言模型首次与LSTM匹配，为将任务性能带到大语言模型的级别设定了阶段。我们还根据DVS摄像机的输入来展示对手势识别任务的结果。总的来说，我们的结果展示了这种神经启发的神经网络在硬件中的可行性，强调了单批推断的常见用例的能源效率的显着增长与常规硬件的可行性。
可扩展的无 MatMul 语言建模 - Yu Zhang
矩阵乘法 (MatMul) 通常占据大型语言模型 (LLM) 总体计算成本的主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这一成本只会增长。在本研究中，我们证明了 MatMul 操作可以完全从 LLM 中消除，同时在十亿参数规模下保持强劲性能。我们的实验表明，我们提出的无 MatMul 模型的性能与最先进的 Transformer 相当，后者在推理过程中需要更大的内存，并且参数规模至少高达 27 亿。我们研究了缩放规律，发现我们的无 MatMul 模型与全精度 Transformer 之间的性能差距随着模型规模的增加而缩小。我们还提供了该模型的 GPU 高效实现，与未优化的基准相比，在训练期间可将内存使用量降低高达 61%。通过在推理过程中使用优化的内核，与未优化的模型相比，我们的模型的内存消耗可减少 10 倍以上。为了准确量化我们架构的效率，我们在 FPGA 上构建了一个定制的硬件解决方案，该解决方案充分利用了 GPU 无法处理的轻量级运算。我们以 13W 的功耗处理了数十亿参数规模的模型，其吞吐量远超人类可读的吞吐量，使 LLM 的效率更接近人脑的水平。这项工作不仅展示了 LLM 在保持高效性能的同时可以精简到何种程度，还指出了未来加速器在处理下一代轻量级 LLM 时应针对哪些类型的运算进行优化。我们的代码实现可在 https://github.com/ridgerchu/matmulfreellm 获取。
生成潜在扩散语言建模产生反...
生成人工智能（AI）为肽设计提供了强大的途径，但是由于庞大的序列空间，复杂的结构 - 活性关系以及平衡抗菌效力和低毒性的需求，此过程仍然具有挑战性。传统方法通常依赖于试验筛选，并且无法有效浏览潜在序列的巨大多样性。在这里，我们介绍了AMP-Diffusion，这是一种使用蛋白质语言模型的嵌入在抗菌肽（AMP）序列上微调的潜在潜扩散模型。通过系统地探索序列空间，AMP扩散可以快速发现有希望的抗生素候选物。我们生成了50,000个候选序列，随后使用我们的APEX预测模型对其进行过滤和排名。从这些过程中，合成了46位顶级候选人并通过实验验证。所得的AMP扩散肽表现出广泛的抗菌活性，靶向临床相关的病原体（包括多药抗性菌株），而人类细胞分析中的细胞毒性较低。机械研究表明，通过膜通透性和去极化进行细菌杀死，肽显示出良好的物理化学特征。在感染的临床前小鼠模型中，铅肽有效地减轻了细菌负担，表现出与多粘蛋白B和Levofloxacin相当的功效，没有可检测到的不良影响。这项研究强调了AMP扩散是设计新型抗生素和生物活性肽的强大生成平台的潜力，提供了一种有希望的策略来解决抗菌耐药性升级的挑战。