XiaoMi-AI文件搜索系统
World File Search SystemLoRA
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招募和指导科学家和实习生以及建立数据和注释伙伴关系。
摘要 研究：AI 社会认知评估与建模。评估 LLM 中的心智理论及其在心理学中的应用 NLP：LLM IFT、表征学习（对比和三重态损失）、语义聚类、总结 DL：Transformers、MoE、EncDec、RNNs、DPO、LoRA 工具：Python、Pytorch、Deepspeed、AWS Sagemaker、hydra、SQL 管理：建立 ML 团队、职能、策略和 OKR、招聘和指导科学家和实习生以及建立数据和注释合作伙伴关系。
超洛：大型基础模型 /作者的参数效率统一适应= Chen，Xiangyu;刘，王；王，你们；王，pu;品牌，马修；王，广伊； Koike-Akino，Toshiaki /creationDate = 2024年11月15日 /受试者=人工智能，机器学习< /div>
lora [21]通过近似于每个权重矩阵的变化ΔW作为两个低级矩阵的乘积来近似基本模型的重量更新。这将所需的参数从d 2降低至2 rd d时，其中d和r分别为重量大小和等级。大多数洛拉变体都致力于解决矩阵分解的固有低级别概念，包括loha（lo w-rank ha darmard）[42]，lokr（lo w-st rank kr onecker）[42]和lotr（lo lotr（lo w t t t osor r ank ank）[5]。我们在第2节中讨论了更多相关工作。但是，我们发现这些变体可以在我们的框架中很好地统一 - 超级洛拉 - 具有不同的超参数，如表1所示。我们提出的超级LORA框架如图1所示，这也产生了一些新的变体：Lonkr（Lo w-Rank n -split kr onecker）和Lorta（Lo w- r w- r ank ank t ensor a a Paintoration）。此外，我们将三个扩展选项介绍：1）在应用Lora变体之前，将∆ W重塑ΔW； 2）将所有∆ w分为任意数量的组，这会破坏不同权重的∆ w的边界； 3）通过带有固定参数的投影层F（·）将更少的可训练参数投射到更大的权重中。相应地，超级卢比提供了更多的灵活性和扩展功能，并由表2中列出的一组超参数控制。我们的贡献包括：
通过超网络生成的Lora
基础模型最近在NLP [1、21、8]和CV [7]等不同领域取得了巨大成功。在机器人技术领域，机器人基础模型（RFMS）[9]可以帮助机器人做出更好的决策，从高级任务计划到低级行动控制，为学习真正的通才机器人提供了有希望的方法。在本文中，我们专注于一种特定类型的RFM，该RFM基于图像观察和语言指令直接输出动作命令，在先前的工作中，这也称为视觉语言行动（VLA）模型[4、5、18、24、14]。通过对从不同场景和不同机器人收集的大规模现实世界机器人数据进行培训，这些RFM的性能和概括性更高，比在任务狭窄分布的传统机器人控制器上取得了更好的概括。
pilora：用于联邦课堂学习的原型指导增量洛拉
摘要。现有的联合学习方法在涉及数据隐私和非IID数据的情况下有效地处理了分散的学习。但是，在现实情况下，每个客户端都动态学习新类，要求全局模型对所有可见的类进行分类。有效地减轻灾难性遗忘和数据异质性，我们提出了一种名为Pilora的简单有效方法。一方面，我们采用原型学习来学习更好的功能表示形式，并利用原型和类特征之间的启发式信息来设计原型重新重量调节，以解决由数据异质性引起的分类器偏见而无需重新培训分类器。另一方面，我们将增量学习视为学习独特的任务向量并在不同的Lora参数中编码它们的过程。因此，我们提出了增量的洛拉（Lora）来减轻灾难性遗忘。标准数据集的实验结果表明，我们的方法的表现优于最先进的方法。更重要的是，我们的方法在不同的环境和数据杂基的程度上表现出强大的稳固性和优越性。该代码可从https://github.com/ghy0501/pilora获得。