机构名称：
¥ 1.0
背景：人工智能越来越多地应用于许多工作流程。大型语言模型（LLM）是可公开访问的平台，可以理解，互动和产生可读的文本；他们提供相关信息的能力对于医疗保健提供者和患者也特别感兴趣。造血干细胞移植（HSCT）是一个复杂的医学领域，需要广泛的知识，背景和培训才能成功练习，对于非专业主义者的观众来说可能具有挑战性。目标：我们旨在测试3个著名LLM的适用性，即ChatGpt-3.5（OpenAI），Chatgpt-4（OpenAI）和Bard（Google AI），以指导非专业医疗保健专业人员，并建议寻求有关HSCT信息的患者。方法：我们提交了72个与LLM的开放式HSCT相关问题，并根据一致性（定义为响应的可复制性）对响应进行了评分 - 响应真实性，语言的理解性，对主题的特异性以及幻觉的存在。然后，我们通过重新提出最困难的问题并提示回应，仿佛与医疗保健专业人员或患者进行沟通，并提供可验证的信息来源，从而重新挑选了2个表现最佳的聊天机器人。的响应进行弥补，该标准定义为针对预期受众的语言适应。Chatgpt-4和Chatgpt-3.5在语言可理解方面都优于吟游诗人（64/66，97％； 53/54，98％；和52/63； 52/63，83％； P = .002）。结果：ChatGpt-4在响应一致性方面均优于Chatgpt-3.5和Bard（66/72，92％； 54/72，75％；和63/69，91％，分别为91％； P = .007; P = .007），响应真实性（响应态度）主题（60/66，91％； 43/54，80％；和27/63，43％； p <.001）。所有展示了幻觉的情节。chatgpt-3.5和chatgpt-4然后提示将其语言调整给听众并提供信息来源，并给予回答。chatgpt-3.5表现出比ChatGpt-4（分别为17/21，81％和10/22，46％）更适合非医学受众的语言的能力； p = .03）;但是，两者都无法始终提供正确和最新的信息资源，报告过时的材料，错误的URL或未关注的参考文献，从而使读者无法验证其输出。
XSL•fo
主要关键词
