机构名称：
¥ 1.0
摘要在生物学中的自然语言处理（NLP）的进步取决于模型解释复杂的生物医学文献的能力。传统模型通常在该领域的复杂和特定领域的语言中挣扎。在本文中，我们提出了Biomamba，这是一种专门为生物医学文本挖掘设计的预培训模型。Biomamba建立在Mamba的建筑上，并在生物医学文学的典型语料库中进行了预培训。我们的实证研究表明，在各种生物医学任务上，Biomamba显着优于Biobert和General Domain Mamba等模型。，对于Intance，Biomamba可实现100倍的困惑性，而Bioasq上的跨透明镜损失减少了4倍[29]测试集。我们提供了模型体系结构，预训练过程和微调技术的概述。此外，我们发布了代码和经过训练的Model 1，以促进进一步的研究。
Biomamba：一种利用Mamba
主要关键词
相关文件推荐
