使用 transformers 教程进行 3D 医学图像分割

Transformer 是计算机视觉领域的一大趋势。我最近概述了一些惊人的进步。这次，我将使用我重新实现的基于 Transformer 的模型进行 3D 分割。特别是，我将使用著名的 UNETR Transformer，并尝试查看它的性能是否与经典的 UNET 相当。该笔记本可用。

进步 笔记本

UNETR 是第一个成功的 3D 医学图像分割 Transformer 架构。在这篇博文中，我将尝试将 UNET 模型的结果与 BRATS 数据集相匹配，该数据集包含 3D MRI 脑图像。以下是我们将在本教程中训练的 UNETR 的高级概述：

UNETR UNET

来源：UNETR：用于 3D 医学图像分割的 Transformer，Hatamizadeh 等人。

来源：UNETR：用于 3D 医学图像分割的 Transformers，Hatamizadeh 等人。 来源：UNETR：用于 3D 医学图像分割的 Transformers，Hatamizadeh 等人。

为了测试我的实现，我使用了现有的 3D MRI 分割数据集教程。因此，我必须感谢 Nvidia 的出色开源库 MONAI，它提供了我为教育目的修改的初始教程。如果您对医学成像感兴趣，请务必查看这个很棒的库及其教程。

现有教程 MONAI 医学成像

让我们先看看数据！

更新：书籍发布！了解“生产中的深度学习”，为数百万用户提供您的 ML 模型。

更新：新书发布！了解“生产中的深度学习”，以便将您的 ML 模型提供给数百万用户。

生产中的深度学习

BRATS 数据集

BRATS 是一个多模态大型 3D 成像数据集。它包含在不同模式和设置下捕获的 4 个 3D 体积 MRI 图像。这是数据集的一个示例。重要的是要看到只有肿瘤被注释。这使得诸如分割之类的事情变得更加困难，因为模型必须定位在肿瘤上。

BRATS

来自 BRATS 完成网站的官方数据预告图像

水肿 非增强实心核心： MONAI = 8 。