背景:用于临床试验的知情同意书(ICF)变得越来越复杂,由于合法的术语和冗长的内容而引起的参与者的理解和参与通常会阻碍参与者。大型语言模型(LLMS)的最新进展为简化ICF创建过程的机会,同时改善可读性,可理解性和可行性。目标:本研究旨在评估Mistral 8x22b LLM在生成具有提高可读性,可理解性和可行性的ICF时的性能。具体来说,我们评估了模型在生成可读,可理解和可行的ICF时的有效性,同时保持准确性和完整性。方法:我们使用Mistral 8x22b模型从IMass Chan医学院的机构审查委员会中处理了4项临床试验方案,以生成ICF的关键信息部分。由8位评估者组成的一个多学科团队,包括临床研究人员和健康信息家,评估了针对人类生成的对应物的生成的ICF,以完成完整性,准确性,可读性,可理解性和可行性。关键信息指标的可读性,可理解性和可行性,其中包括18个二进制项目,用于评估这些方面,得分较高,表明信息的可访问性,可理解性和可行性更高。统计分析,包括Wilcoxon等级总和测试和类内相关系数计算,用于比较输出。与人类生成的版本相比,LLM生成的内容在可操作性上取得了完美的分数(100%vs 0%; P <.001)。结果:LLM生成的ICF表现出与关键部分之间人类生成版本相当的性能,准确性和完整性没有显着差异(p> .10)。LLM在可读性(可读性,可理解性和可行得分76.39%vs 66.67%vs 66.67%; FLESCH-KINCAID等级的7.95 vs 8.38)和可理解性(90.63%vs 67.19%; P = .02)中的超过了人类生成的ICF(可读性,可理解性和可行性; 7.95 vs 8.38)。 评估者一致性的类内相关系数为0.83(95%CI 0.64-1.03),表明整个评估的可靠性良好。 结论:Mistral 8x22b LLM在不牺牲准确性或完整性的情况下增强了ICF的可读性,可理解性和可行性方面表现出了有希望的能力。 llms为ICF生成提供了可扩展的,有效的解决方案,潜在地增强了参与者的理解和临床试验中的同意。超过了人类生成的ICF(可读性,可理解性和可行性; 7.95 vs 8.38)。评估者一致性的类内相关系数为0.83(95%CI 0.64-1.03),表明整个评估的可靠性良好。结论:Mistral 8x22b LLM在不牺牲准确性或完整性的情况下增强了ICF的可读性,可理解性和可行性方面表现出了有希望的能力。llms为ICF生成提供了可扩展的,有效的解决方案,潜在地增强了参与者的理解和临床试验中的同意。
虽然机器学习方法已经大大改善了教育研究的结果,但常见的缺陷在于结果的解释性。可解释的AI(XAI)旨在通过为分类决策提供透明的,概念上可以理解的解释,增强人类的理解和对外界的信任来填补这一空白。本文探讨了XAI的熟练程度和可读性评估方法,这些方法涵盖了一组465种语言复杂性测量。我们确定了将这些措施与不同水平的熟练程度和可读性相关联的理论描述,并使用使用监督的机器学习和Shapley添加性解释的交叉孔经验来验证它们。重申不仅强调了在葡萄牙人有效地熟练和可读性方面采取了多种复杂性措施的实用性,在能力分类任务中达到了0.70的最新精度,在可读性分类任务中的最先进的准确性为0.84,但它们很大程度上纠正了统一的研究,特别是在统计上,尤其是在supictions and-supictions interipical intercical intercripical intercripical intercrical interpical ne perxical ne perxical。
摘要:背景:下腔静脉 (IVC) 过滤器已成为静脉血栓栓塞症患者的一种有利治疗方式。随着这些过滤器的使用不断增长,提供者必须以全面而易懂的方式对患者进行适当的教育。同样,生成人工智能模型是患者教育中日益重要的工具,但人们对这些工具在 IVC 过滤器上的可读性知之甚少。方法:本研究旨在确定由这些人工智能模型生成的 IVC 过滤器患者教育材料的 Flesch 阅读难度 (FRE)、Flesch-Kincaid 和 Gunning Fog 可读性。结果:ChatGPT 队列的平均 Gunning Fog 得分最高,为 17.76 ± 1.62,而 Copilot 队列的平均 Gunning Fog 得分最低,为 11.58 ± 1.55。尽管先验功效较低,仅为 0.392,但各组之间的 Flesch 阅读难度分数差异 (p = 8.70408 × 10 − 8) 具有统计学意义。结论:本研究结果表明,与 ChatGPT 队列相比,Microsoft Copilot 队列生成的答案在 IVC 过滤器方面具有更高的可读性。然而,这两个队列的平均 Flesch-Kincaid 可读性均未达到美国推荐的阅读等级。
所有论文将根据IEEE审查指南进行同行审查,并检查是否窃。论文的选择将基于以下评估标准:军事相关性和意义,科学价值,独创性,技术质量(施工/可读性/可读性),导致整体评估。所有作者将在提交日期之后不久通知是否已选择其论文,并从评估中进行建设性的反馈摘要。在适用时,鼓励作者根据审核建议在提交摄像机就绪副本之前根据审核建议更新论文。只有符合标准和相关质量的论文才被接受。对于仅满足标准并因此被拒绝的论文而言,作者将有机会进行海报演讲。
本文件是 2022 年 6 月 27 日提交给总理的特别报告的修订版。当时,该文件被列为“绝密/特殊情报/仅供加拿大人查看/密码”。修订内容包括删除总理认为披露会损害国家安全、国防或国际关系或构成律师-客户特权的信息。如果信息可以简单地删除而不会影响文件的可读性,委员会会在本文件文本中用三个星号 (***) 标记删除内容。如果信息不能简单地删除而不会影响文件的可读性,委员会会修订文件以总结被删除的信息。这些部分在摘要的开头和结尾处标有三个星号,摘要用方括号括起来(见下面的示例)。
• 固体剂量非处方药产品的产品标识指南:CHPA 于 1989 年采用了这些自愿指南。与行业自愿计划类似的美国食品药品管理局 (FDA) 法规于 1993 年发布。• 口服专论非处方药酒精含量计划:CHPA 于 1992 年采用了这一自愿计划。1995 年,FDA 发布了与 CHPA 自愿计划非常相似的最终法规。• 含酒精漱口水的儿童防护包装:CHPA 的自愿计划于 1993 年采用。美国消费品安全委员会 (CPSC) 于 1995 年发布了最终法规,与 CHPA 自愿计划几乎相同。 • 标签可读性指南:CHPA 的标签可读性指南于 1991 年通过。FDA 于 1999 年发布了关于标签格式和内容的规定。FDA 最终规定包含 CHPA 标签可读性指南中的许多元素。• 含铁膳食补充剂的包装、标签和配方:CHPA 的自愿计划于 1993 年通过。1997 年,FDA 发布了关于含铁药物和膳食补充剂标签的最终规定,并于 2003 年进行了修订。最终法规与行业的标签建议类似。• 儿童安全封盖:当今的儿童安全包装要求建立在 20 世纪 60 年代制定的自愿儿童安全封盖计划的基础上,并对其进行了扩展。