1 Service de Pharmacie, GH Nord, Hospices Civils de Lyon, 69002 Lyon, France 2 Univ.里昂大学 Claude Bernard Lyon 1, UMR CNRS 5558, LBBE—Laboratoire de Biométrie et Biologie Évolutive, 69100 Villeurbanne, France 3 Univ.里昂,克洛德伯纳德大学里昂 1,ISPB—里昂药学院,69008 里昂,法国 4 洛桑大学医院和洛桑大学临床药理学服务处,1011 洛桑,瑞士; monia.guidi@chuv.ch (MG); nicolas.widmer@chuv.ch (NW) 5 洛桑大学医院和临床药学研究与创新中心,瑞士洛桑 1011 6 日内瓦大学和洛桑大学瑞士西部药学研究所,瑞士日内瓦 1211 7 巴塞尔大学儿童医院儿科药理学和药理计量学,瑞士巴塞尔 4056 8 日内瓦大学药学院,瑞士日内瓦 1205 9 沃州东部医院药房,瑞士伦纳 1847 * 通讯地址:sylvain.goutelle@chu-lyon.fr;电话:+33-4-72-16-80-99
1服务De Pharmacie,GH Nord,Hospices Civils de Lyon,69002 Lyon,法国2 Univ。里昂,克劳德·伯纳德·里昂大学1,UMR CNRS 5558,LBBE - laboratoire debiométrieet trie et biogogiefollogieévornity,69100 Villebanne,Villebanne,法国3 Univ。里昂,克劳德·伯纳德·里昂大学1,ISPB - 法国69008 Lyon,法国49008 Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie de Pharmacie De Lyon,法国4临床药理学服务,洛桑大学医院和洛桑大学,1011年,瑞士洛桑; monia.guidi@chuv.ch.ch(M.G。); nicolas.widmer@chuv.ch(n.w.)5 5瑞士大学医院和洛桑大学临床药学科学研究与创新中心,瑞士洛桑1011 6瑞士西瑞士的药学科学研究所,日内瓦大学,洛桑大学和洛桑大学,瑞士大学1211,瑞士7瑞士7儿童病理学和基础药理学和药理学。日内瓦大学制药科学学院,瑞士日内瓦市1205年9月9日,东部沃德医院的药房,1847年瑞士雷纳兹,瑞士 *通信:sylvain.goutelle@chu-lyon.fr;电话。 : +33-4-72-16-80-995瑞士大学医院和洛桑大学临床药学科学研究与创新中心,瑞士洛桑1011 6瑞士西瑞士的药学科学研究所,日内瓦大学,洛桑大学和洛桑大学,瑞士大学1211,瑞士7瑞士7儿童病理学和基础药理学和药理学。日内瓦大学制药科学学院,瑞士日内瓦市1205年9月9日,东部沃德医院的药房,1847年瑞士雷纳兹,瑞士 *通信:sylvain.goutelle@chu-lyon.fr;电话。: +33-4-72-16-80-99
摘要背景人工智能(AI)迅速渗透到包括医疗保健在内的各个部门,突出了其促进心理健康评估的潜力。这项研究探讨了AI在评估抑郁症的预后和长期结局中的作用的未置换领域,从而提供了对AI大语言模型(LLMS)如何与人类观点相比的见解。使用案例小插曲的方法,我们进行了涉及不同LLM(Chatgpt-3.5,Chatgpt-4,Claude和Bard),精神卫生专业人员(全科医生,精神科医生,临床心理学家和心理健康护士)以及以前报道的普通大众的比较分析。我们评估了LLMS产生预后,预期有或没有专业干预的预期结果的能力,并设想对抑郁症患者的长期积极和负面后果。导致大多数检查的病例,四个LLM始终将抑郁症视为主要诊断,并建议对心理疗法和抗抑郁药进行联合治疗。chatgpt-3.5表现出与其他LLM,专业人士和公众不同的悲观预后。chatgpt-4,克劳德(Claude)和吟游诗人与精神卫生专业人员和一般公众观点紧密保持一致,所有这些人都预计没有专业帮助就不会改善或恶化。关于长期结局,Chatgpt 3.5,Claude和Bard始终预计,治疗的长期负面后果明显少于ChatGpt-4。结论这项研究强调了AI的潜力补充心理健康专业人员的专业知识,并促进了心理保健方面的协作范式。观察到,四个LLM中的三个在涉及治疗的情况下密切反映了心理健康专家的预期,这突显了该技术在提供专业临床预测时的预期价值。Chatgpt 3.5提出的悲观前景令人担忧,因为它可能会减少患者启动或继续抑郁疗法的动力。总而言之,尽管LLMS在增强医疗服务方面表现出潜力,但其利用需要彻底验证并与人类判断力和技能无缝整合。
面对陪审团,由:Ginestet,Stéphane大学教授,Insa-Toulouse报告员Le-Pierre,Nolwenn大学教授,Savoie Mont Blanc Rapporteur Zondag大学教授,Herbert A.大学,Insa-Lyon论文主任Johannes,Kévyn讲师(HDR),大学论文联合主任Claude Bernard Lyon 1 Horgnies,Matthieu医生,HDR,HDR,HDR,研究工程师,研究工程师,Lafargeholcim Innovation Center /viv>/viv>/viv>/viv>>
当前用于评估视觉模型(VLM)的基准通常集中在其感知或解决问题的能力上,并忽略了其他关键方面,例如公平,多语言或毒性。此外,他们的评估程序和评估范围有所不同,因此很难比较模型。为了解决这些问题,我们将Helm框架扩展到VLM,以介绍视觉语言模型(VHELM)的整体评估。vhelm汇总了各种数据集,以涵盖9个方面的一个或多个:视觉感知,知识,推理,偏见,公平,多语言,稳健性,毒性和安全性。这样做,我们对这些重要因素中VLM的功能产生了全面的多维视图。此外,我们将标准推理参数,提示方法和评估指标标准化,以实现跨模型的公平比较。我们的框架设计为轻巧且自动,因此评估运行既便宜又快。我们的初始运行评估了21个现有数据集上的22个VLM,以提供模型的整体快照。我们发现了新的关键发现,例如,以效率为中心的模型(例如Claude 3 Haiku或Gemini 1.5 Flash)的表现要比其完整模型(例如Claude 3 Opus或Gemini 1.5 Pro)的差异明显差,但在其他方面进行了评估时没有在偏置基准上进行差异。对于透明度,我们发布了原始模型世代,并在网站上的https://crfm.stanford.edu/helm/vhelm/vhelm/v2.0.1上完成了完整的结果。vhelm旨在成为活的基准,我们希望随着时间的推移继续添加新的数据集和模型。
