ClinicalMamba

ClinicalMamba：纵向临床注释的生成临床语言模型

医疗保健中自然语言处理（NLP）系统的进步在语言模型的能力上解释临床注释中包含的信息信息。此过程通常需要在病史的病史中从各个时间点整合信息。但是，大多数较早的临床语言模型都经过了上下文长度的审议，仅限于大约一个临床文件。在这项研究中，我们介绍了ClinicalMamba，这是Mamba语言模型的专门版本，并在大量的纵向临床注释中预审到，以满足医疗Do-Main的独特语言特征和信息处理需求。具有130万个公元和28亿个参数的临床曼巴模型在对较长的文本长度上建模临床语言方面表现出卓越的性能，与MAMBA和其他基于Longformer和Llama的临床模型相比。经过少量学习，ClinicalMamba在速度和性能方面取得了显着的基准，在纵向临床任务中表现优于临床语言模型和诸如GPT-4（例如GPT-4）的大型语言模型。