在 R 中训练,在 Android 上运行:使用 torch 进行图像分割

我们使用 torch 及其高级接口 luz 在 R 中训练一个图像分割模型。然后,我们在示例输入上对模型进行 JIT 跟踪,以获得可以在没有安装 R 的情况下运行的优化表示。最后,我们展示了在 Android 上运行的模型。

来源:RStudio AI博客

从某种意义上说,图像分割与图像分类并没有太大区别。只是分割不是将图像作为一个整体进行分类,而是为每个像素生成一个标签。与图像分类一样,感兴趣的类别取决于任务:例如,前景与背景;不同类型的组织;不同类型的植被;等等。

每个像素

本帖并不是本博客上第一篇讨论该主题的文章;与所有之前的文章一样,它利用 U-Net 架构来实现其目标。主要特征(本帖,而非 U-Net)是:

    它演示了如何为图像分割任务执行数据增强。它使用 torch 的高级接口 luz 来训练模型。它对训练后的模型进行 JIT 跟踪并将其保存以在移动设备上部署。 (JIT 是 torch 即时编译器的常用缩写。)它包括在 Android 上运行的已保存模型的概念验证代码(但不是讨论)。
  • 它演示了如何为图像分割任务执行数据增强。
  • 它演示了如何为图像分割任务执行数据增强。

  • 它使用 torch 的高级接口 luz 来训练模型。
  • 它使用 torch 的高级接口 luz 来训练模型。

    luz torch
  • 它对训练后的模型进行 JIT 跟踪并将其保存以在移动设备上部署。 (JIT 是 torch 即时编译器的常用缩写。)
  • 它对训练好的模型进行 JIT 跟踪并将其保存以部署到移动设备上。(JIT 是 torch 即时编译器的常用缩写。)

    JIT 跟踪 torch
  • 它包括在 Android 上运行的已保存模型的概念验证代码(但不是讨论)。
  • 它包括在 Android 上运行的已保存模型的概念验证代码(但不是讨论)。

    来自牛津宠物数据集 (Parkhi 等人 (2012)) 的一只猫。
    来自牛津宠物数据集 (Parkhi 等人 (2012)) 的一只猫。
    Parkhi 等人(2012) Parkhi 等人。 2012

    在 R 中训练

    torchdatasets 库(torch) ( )