Cendol:印尼语言的开放指导调节的大型语言模型
机构名称:
¥ 1.0

大语言模型(LLMS)在各种领域和语言中表现出雄性的能力。然而,低资源语言(例如印尼 - 西安土著语言)出现了一个显着的质量差距,使它们在这种语言文本中具有无效和效率低下。为了弥合这一质量差距,我们介绍了Cendol,Cendol是印尼LLM的集合,其中包含了仅解码器和编码的解码器体系结构,这些架构遍布各种型号。我们强调了Cendol在各种任务中的有效性,取得了约20%的提高,并证明了其概括印度尼西亚看不见的任务和土著语言的能力。此外,Cendol模型展示了改善人类的偏爱,尽管它们在捕获印尼的知识知识和文化价值方面存在局限性。此外,我们讨论了用于语言适应的参数有效调谐(例如Lora)的缺点。另外,我们提出词汇适应的用法以提高效率。最后,我们评估了Cendol的安全性,并展示了一种语言(例如英语)的预训练的安全性,即使没有RLHF和安全性微调,也可以转移到低资源语言(例如印尼语)。1

Cendol:印尼语言的开放指导调节的大型语言模型

Cendol:印尼语言的开放指导调节的大型语言模型PDF文件第1页

Cendol:印尼语言的开放指导调节的大型语言模型PDF文件第2页

Cendol:印尼语言的开放指导调节的大型语言模型PDF文件第3页

Cendol:印尼语言的开放指导调节的大型语言模型PDF文件第4页

Cendol:印尼语言的开放指导调节的大型语言模型PDF文件第5页

相关文件推荐

调整大型语言模型
2024 年
¥3.0
探索大型语言模型
2024 年
¥1.0