Slovene

生成模型中的单词关联有多像人类？斯洛文尼亚的实验

抽象的大语言模型（LLMS）在广泛的认知任务中表现出非凡的表现，但是它们重现人类语义相似性判断的能力仍然存在争议。我们报告了一个实验，其中我们将两个LLM用于Slovene，单语插槽5和多语言MT5以及MT5用于英语，以产生单词关联。这些模型是对在单词项目中创建的人词协会规范进行微调的，该规范最近开始收集Slovene的数据。由于我们的目的是探索人类和模型生成的输出之间的差异，因此对模型参数进行最小调整以适合关联任务。我们使用一组方法来测量重叠和排名进行自动评估，此外，将人类和模型生成的响应的子集手动分为四个类别（含义 - 基于位置和表单，基于位置和形式，并且不稳定）。的结果表明，人机重叠非常小，但是模型产生的关联类别分布与人类类似。