机构名称：
¥ 1.0
背景：大型语言模型是一种人工智能（AI）模型，为医疗保健实践，研究和教育开辟了很大的可能性，尽管学者们强调有必要主动解决有关其使用的未验证和不准确信息的问题。最著名的大型语言模型之一是Chatgpt（OpenAI）。据信它对医学研究有很大帮助，因为它促进了更有效的数据集分析，代码生成和文献综述，从而使研究人员可以专注于实验设计以及药物发现和开发。目标：本研究旨在探索Chatgpt作为系统评价和临床决策支持系统的实时文献搜索工具的潜力，以提高其在医疗保健环境中的效率和准确性。方法：人类专家对Peyronie病治疗的系统评价的搜索结果被选为基准，并将研究的文献搜索方式应用于Chatgpt和Microsoft Bing AI，与人类研究人员进行了比较。peyronie疾病通常表现出与可触及的斑块和勃起功能障碍相关的阴茎不适，曲率或畸形。为了评估从AI答案得出的个别研究的质量，我们根据与出版物有关的书目信息创建了一个结构化评级系统。如果存在标题，我们将其答案分为4年级：a，b，c和f。没有给出虚假标题或没有答案的等级。结果表明，将Chatgpt用作实时证据的工具尚不准确且可行。结果：与24个研究的人类基准相比，在1287个鉴定的研究中，有7（0.5％）直接相关，而Bing AI则在48个研究中得到19例（40％）相关研究。在定性评估中，Chatgpt有7级A，18年级B，167级C和211级F研究，Bing AI进行了19个A级和28级C研究。结论：这是将AI和常规人类系统审查方法作为一种实时文献收集工具进行循证医学进行比较。因此，研究人员应该谨慎使用这种AI。使用生成预训练的变压器模型的这项研究的局限性是，搜索研究主题并不多样化，并且并不能阻止生成AI的幻觉。但是，本研究将通过提供从用户的角度验证生成AI的可靠性和一致性的索引来成为未来研究的标准。如果验证了AI文献搜索服务的可靠性和一致性，则这些技术的使用将极大地帮助医学研究。
chatgpt和Microsoft Bing AI绩效评估
主要关键词
相关文件推荐
