大型语言模型 (LLM) 在各个领域都变得至关重要,这强调了在代表性不足的语言中建立高质量模型的紧迫性。本研究探讨了低资源语言面临的独特挑战,例如数据稀缺、模型选择、评估和计算限制,特别关注土耳其语。我们进行了深入分析,以评估训练策略、模型选择和数据可用性对为代表性不足的语言设计的 LLM 性能的影响。我们的方法包括两种方法:(i) 调整最初用英语预训练的现有 LLM 以理解土耳其语;(ii) 使用土耳其语预训练数据从头开始开发模型,这两种方法均辅以在新的土耳其语指令调整数据集上进行监督微调,旨在增强推理能力。通过创建新的土耳其语 LLM 排行榜来评估这些方法的相对性能,其中包含评估不同推理和知识技能的基准。此外,我们在预训练和微调期间对数据和模型扩展进行了实验,同时强调跨语言知识迁移的能力,并解决在不同语言上微调时遇到的灾难性遗忘的挑战。我们的目标是提供在低资源语言环境中推进 LLM 框架的详细指南,从而使自然语言处理 (NLP) 的好处在全球范围内更容易获得。
尽管具有英语主导性的大语言模型的进步,但低资源语言仍需要进一步的开发才能增强全球可访问性。代表这些语言的主要方法是单语和多语言预读。单语言预告片由于硬件要求而昂贵,而且多语言模型在语言中通常具有不平衡的性能。这项研究通过调整大型语言模型(接受英语培训)来探讨一种替代性,从而探讨了低资源语言。我们评估各种策略,包括持续的培训,教学微调,特定的微调和词汇扩展。结果表明,持续的训练可以证明语言理解,如困惑得分所反映,而特定于任务的调整通常会增强下游任务的性能。但是,扩展词汇并没有显示出实质性的好处。此外,虽然较大的模型通过几次调整来改善任务性能,但在适应时,多语言模型的形式比单语的同行更糟。
(ORCID:0000-0002-4453-6515) 土耳其语摘要 – 在我国,由于石油、煤炭和天然气等化石燃料的储量有限以及环境和社会限制,对可再生能源的倾向有所增加。能源连续性对于现代生活的可持续性和生产的连续性非常重要,这取决于工业和技术的发展。存储技术在最大限度地减少可再生能源的使用过程中的能源生产中断以及这些系统的广泛使用方面发挥着非常重要的作用。在需要时,必须供应足够数量的能源需求。利用能源存储系统可以快速可靠地响应一天中可能发生的能源需求变化。储能技术;这是一项具有巨大潜力的技术,因为它可以改善电力系统,促进可再生能源生产,并提供石油衍生燃料的替代品。在这项研究中;讨论了化学、电气、电化学、机械和热能存储系统,并提供了有关其结构和工作原理的信息。关键词 – 储能方法、可再生能源、储能技术、储能。引用:Emeksiz,C.,Kara,B.(2022)。储能技术的回顾与比较分析。国际多学科研究与创新技术杂志,6(2): 134-142。