XiaoMi-AI文件搜索系统
World File Search System微调
微调的“小” llm（仍然）明显优于零射击...
生成AI提供了一种简单的，基于及时的替代方案，用于微调较小的BERT风格的LLM，以进行文本分类任务。这有望消除对手动标记的培训数据和特定于任务模型培训的需求。但是，仍然是一个悬而未决的问题。在本文中，我们表明，较小的，微调的LLM（仍然）始终如一，明显优于较大的零射击，这促使文本分类中的模型。我们将三种主要的生成AI模型（与GPT-3.5/GPT-4和Claude Opus）与多种分类任务（情感，批准/不赞成，情绪，情感，党派职位）和文本类别（新闻，推文，演讲，演讲）中进行了比较。我们发现，在所有情况下，使用特定于应用程序的培训数据进行微调均可取得卓越的性能。为了使更广泛的受众更容易访问这种方法，我们将提供一个易于使用的工具包。我们的工具包，伴随着非技术分步指导，使用户能够以最小的技术和计算工作来选择和调整类似BERT的LLM，以完成任何分类任务。
专家程序员具有源代码的微调皮质表示
版权所有©2020 Ikutani等。这是根据Creative Commons Attribution 4.0国际许可条款分发的开放访问文章，只要将原始工作正确归因于任何媒介，它允许在任何媒介中进行无限制的使用，分发和复制。
推动贸易：微调太阳能和风能价值链的贸易政策
引言 ................................................................................................4 1. 应对气候变化和能源获取 ......................................................5 2. 太阳能和风能推动能源转型 ..............................................8 3. 绿色能源价值链的结构 ..............................................................13 4. 遵循历史贸易模式的新技术 ............................................................................15 5. 绿色能源价值链上的贸易壁垒 ......................................................................................19 6. 微调贸易政策以加强可再生能源技术 .............................................................26 7. 附件 .............................................................................................................28
微调FAM161A基因增强疗法以恢复视网膜功能
已有15年了，基因疗法一直被视为遗传性视网膜疾病的希望的灯塔。许多临床前研究都集中在具有最大基因表达能力的载体周围，但是尽管基因转移有效，但在各种纤毛病中仍观察到了最小的生理改善。色素型视网膜炎28（RP28）是FAM161A中Bi-Callelic null突变的结果，Fam161a是连接纤毛（CC）结构的必不可少的蛋白质。在缺席的情况下，纤毛杂乱无章，导致外部片段崩溃和视力障碍。在人类视网膜中，FAM161A有两个同工型：带外显子4的长度，而没有它的短。为了恢复FAM161A中的CC，在纤毛混乱开始后不久，我们将AAV载体与启动子活性，剂量和人类同工型进行了比较。虽然所有矢量都改善了细胞存活，但仅使用弱FCBR1-F0.4启动子启用了两种同工型的组合，启用了CC中的精确FAM161A升级和增强的视网膜功能。我们对RP28的FAM161A基因置换的调查强调了精确治疗基因调节，适当的载体给药和两种同工型的递送的重要性。此精度对于涉及FAM161A等结构蛋白的安全基因疗法至关重要。
论预训练数据多样性与微调鲁棒性之间的联系
预训练已在深度学习中被广泛采用，以提高模型性能，特别是当目标任务的训练数据有限时。在我们的工作中，我们试图了解这种训练策略对下游模型泛化特性的影响。更具体地说，我们提出以下问题：预训练分布的属性如何影响微调模型的鲁棒性？我们探索的属性包括预训练分布的标签空间、标签语义、图像多样性、数据域和数据量。我们发现影响下游有效鲁棒性的主要因素 [44] 是数据量，而其他因素的重要性有限。例如，将 ImageNet 预训练类别的数量减少 4 倍，同时将每个类别的图像数量增加 4 倍（即保持总数据量固定）不会影响微调模型的鲁棒性。我们展示了从各种自然和合成数据源中提取的预训练分布的发现，主要使用 iWildCam-WILDS 分布转变作为稳健性测试。
复杂的CRISPR/CAS工具用于微调植物性能
在过去的几年中，发现各种自然的发现和一系列工程的CRISPR/CAS核酸酶的发展使几乎每个植物基因组的位点都可以访问以诱导特定变化。新开发的工具为诱导遗传变异性（从更改单个BP转换为Mbps），从而为植物的性能提供了广泛的可能性。虽然早期方法集中在靶向诱变上，但最近开发的工具可以诱导精确和预定义的基因组修饰。基本编辑器的使用允许替换单核苷酸，而使用Prime编辑器和基因靶向方法可以使较大序列修改从几个碱基诱导到几个KBP。最近，通过CRISPR/CAS介导的染色体工程，有可能在MBP范围内诱导遗传版本和易位。因此，育种者的破坏和固定遗传联系的一种新颖的方式已成为可能。此外，已证明对转录和转录后调节涉及的各种因素的序列特异性募集已被证明为植物性能进行微调提供了另一种方法。在这篇综述中，我们概述了基于CRISPR/ CAS的工具开发植物基因组工程领域的最新进展，并试图评估这些DE Velopments对育种和生物技术应用的重要性。
终身自主对野外导航基础模型的自主微调
摘要：最近的作品提出了许多通用机器人装置模型，这些模型可以控制各种机器人平台以执行一系列不同的任务，包括在导航和操纵领域中。，这种模型通常是通过模仿学习来训练的，这排除了通过机器人聚集在工作中的经验自主适应的能力。在这项工作中，我们的目的是在机器人导航领域中训练通用机器人基础模型，目的是实现自主性自我改善。我们表明，将预训练与离线封根学习和连续自动操作的完整系统结合在一起，这将导致一个机器人学习框架，不仅始于广泛的二元能力，而且可以进一步专业化并适应这些能力，并在给定部署地点执行导航任务过程中。据我们所知，该结果展示了第一个通过开放世界设置中的自主互动不断学习的导航机器人基础模型。
通过微调大型语言模型实现表格数据的迁移学习
尽管人工智能 (AI) 革命不断，但由于特征空间异构、样本量有限且缺乏可行的迁移学习，深度学习在表格数据方面尚未取得很大成功。由大型语言模型 (LLM) 驱动的生成式人工智能新时代为各种数据和领域带来了前所未有的学习机会。本文研究了 LLM 应用程序编程接口 (API) 和 LLM 迁移学习在表格数据分类中的有效性。LLM API 使用标记数据和指令响应输入文本提示，而迁移学习则针对目标分类任务对 LLM 进行微调。本文提出了一种端到端的 LLM 微调，以在不存在大型预训练表格数据模型来促进迁移学习的情况下，在十个基准数据集上展示跨数据迁移学习。所提出的 LLM 微调方法在具有少于十个特征（表格数据集的标准特征大小）的表格数据上的表现优于最先进的机器和深度学习方法。迁移学习方法仅使用其他深度学习或基于 API 的解决方案的计算成本的一小部分，同时确保具有竞争力或卓越的分类性能。
网格注意力：提高大型视力模型的计算效率，而无需微调
Gridattn集成了提出的网格聚类模块，网格分配策略以及将网格恢复模块与常见的MHA相结合，以提高大型视力模型的计算效率并保持其性能，而无需重新训练或对其参数进行微调。我们对最近的高分辨率任务进行了广泛的实验，包括零摄像实例分割（SAM，Expedit-SAM），文本到图像生成（稳定扩散v2.1）和语义segmentation（segformer b0-b5）。实验表明：通过任何训练或微调，Gridattn将GFLOPS降低[4.6％，16.1％]和GPU推断潜伏期的范围[8.2％，21.4％]，同时达到等效性能（绩效偏见比率低于1％）。此外，提出的实验表明，Gridattn也可以从头开始训练，也可以通过微调的微调成本进行微调，从而大大提高了性能效率 - 折衷方案。作为建议，我们鼓励社区直接部署训练有素的变压器，对预先训练的训练训练，或从头开始训练新的变压器时，将社区合并。源代码将在https://github.com/pengyulpy/gridattn中发布。
使用合成数据微调Yolov10进行订单准确性验证
图8：MAP50未经合成数据训练的数据的结果与使用合成数据集训练的数据，仅根据真实图像进行评估。合成数据仅用于显示适配器（第2类）。包括合成数据还改进了其他类别的MAP50。