保持自动论文评分中的一致性对于保证公平可靠的评估至关重要。这项研究研究了一致性,并提供了用于自动论文评分(AES)的开源和专有大语模型(LLMS)的比较分析。这项研究利用了学生论文,每个人都评估了五次,以测量几种模型中的内部植物(使用内部系数和可重复性系数)和互间(一致性相关系数)的可靠性:GPT-4,GPT-4,GPT-4,GPT-4O,GPT-4O Mini,GPT-4O Mini,GPT-3.5 Turbo,Gemini 1.5 turbo,gemini 1.5 Flash,Gemini 1.5 Flash和Llama 3.1 70B。文章和标记标准用于及时构造,并发送到每个大型语言模型以获得分数输出。结果表明,GPT-4O产生的分数与人类评估紧密保持一致,表明在重复措施中进行了公平的一致性。具体而言,GPT-4O表现出比GPT-4O MINI的一致性相关系数(CCC)稍高,这表明与人类得分相吻合。但是,可以观察到所有LLM模型在评分理由/评估方面都不一致。我们的研究结果表明,使用大型语言模型的自动论文评分中当前面临的挑战不仅需要从定量的角度来分析,而且还需要从定性上进行分析。此外,我们还利用了更复杂的提示方法,并解决了初始测量中观察到的不一致之处。尽管我们研究中某些模型的可靠性据称是在AES实施过程中的选择,但应彻底考虑LLM的选择。
1. 医疗服务团简介医疗服务团 (MSC) 由各种医疗保健管理和科学专业组成,从管理和支持陆军卫生服务系统到直接患者护理。根据《10 USC 7068》的规定,MSC 的领导层由团长和四名助理团长组成,他们还担任四个医疗功能领域 (MFA) 的负责人:行政卫生服务、医学相关科学、预防医学科学和行为健康科学。第五名助理团长担任预备役和国民警卫队顾问。MSC 由四名 MFA、四个独立的集中领域 (AOC) 和一个军事职业专业 (MOS) 组成。助理团长为各自的 MFA/AOC/MOS 提供职业指导,并向团长推荐政策。除了助理团长之外,每个 AOC(和某些技能识别者)都有一位专门的顾问为团长和助理团长提供建议。执行军团有关正规陆军 MSC 军官职业发展的政策的作战单位是 HRC 的医疗服务部门,该部门负责协调军事和民事教育、任务分配、技能分类、职业管理援助和其他人事管理行动。该部门的主要目标是通过提供适当的任务分配和确保客观考虑教育机会来帮助每位军官实现职业目标。MSC 由四个 MFA 组成,每个 MFA 有 22 个 AOC。所有 MSC 军官(准尉除外)都将获得 22 个 MSC AOC 之一:67E、67F、67G、67J、70A、70B、70C、70D、70E、70F、70H、70K、71A、71B、71E、71F、72A、72B、72C、72D、73A 和 73B。前两个字符(数字),例如 70、71、72 和 73 标识 MFA,第三个字符(字母)标识特定专业。AOC 67E、67F 和 67G 是独立的 AOC,与 MFA 无关。AOC 67J 通常与 MFA 70 相关联,但这些官员将保留 AOC 67J 作为其主要 AOC,除非撤销。AOC 67A 用于标识必须由持有 MFA 70 AOC 或 AOC 67J 的官员填补的行政卫生服务非重要 (IM) 职位。同样,AOC 67B 标识 MFA 71 AOC 的 IM 职位;AOC 67C 标识 MFA 72 的 IM 职位,AOC 67D 标识 MFA 73 的 IM 职位。AOC O5A 标识 AMEDD 非重要职位,这意味着来自两个或更多军团的 AOC 可以填补这些职位。 MOS 670A 标识 MSC 准尉。MSC 内的 MFA/AOC 和 MOS 列于表 1 中。
1. 医疗服务团简介医疗服务团 (MSC) 由各种医疗保健管理和科学专业组成,从管理和支持陆军卫生服务系统到直接患者护理。根据《10 USC 7068》的规定,MSC 的领导层由团长和四名助理团长组成,他们还担任四个医疗功能领域 (MFA) 的负责人:行政卫生服务、医学相关科学、预防医学科学和行为健康科学。第五名助理团长担任预备役和国民警卫队顾问。MSC 由四名 MFA、四个独立的集中领域 (AOC) 和一个军事职业专业 (MOS) 组成。助理团长为各自的 MFA/AOC/MOS 提供职业指导,并向团长推荐政策。除了助理团长之外,每个 AOC(和某些技能识别者)都有一位专门的顾问为团长和助理团长提供建议。执行军团有关正规陆军 MSC 军官职业发展的政策的作战单位是 HRC 的医疗服务部门,该部门负责协调军事和民事教育、任务分配、技能分类、职业管理援助和其他人事管理行动。该部门的主要目标是通过提供适当的任务分配和确保客观考虑教育机会来帮助每位军官实现职业目标。MSC 由四个 MFA 组成,每个 MFA 有 22 个 AOC。所有 MSC 军官(准尉除外)都将获得 22 个 MSC AOC 之一:67E、67F、67G、67J、70A、70B、70C、70D、70E、70F、70H、70K、71A、71B、71E、71F、72A、72B、72C、72D、73A 和 73B。前两个字符(数字),例如 70、71、72 和 73 标识 MFA,第三个字符(字母)标识特定专业。AOC 67E、67F 和 67G 是独立的 AOC,与 MFA 无关。AOC 67J 通常与 MFA 70 相关联,但这些官员将保留 AOC 67J 作为其主要 AOC,除非撤销。AOC 67A 用于标识必须由持有 MFA 70 AOC 或 AOC 67J 的官员填补的行政卫生服务非重要 (IM) 职位。同样,AOC 67B 标识 MFA 71 AOC 的 IM 职位;AOC 67C 标识 MFA 72 的 IM 职位,AOC 67D 标识 MFA 73 的 IM 职位。AOC O5A 标识 AMEDD 非重要职位,这意味着来自两个或更多军团的 AOC 可以填补这些职位。 MOS 670A 标识 MSC 准尉。MSC 内的 MFA/AOC 和 MOS 列于表 1 中。
