从机器学习工程师那里学习 - 第5部分：培训

在我系列的第五部分中，我将概述创建一个用于培训图像分类模型，评估性能和准备部署的docker容器的步骤。

AI/ML工程师宁愿专注于模型培训和数据工程，但现实是我们还需要了解幕后的基础架构和机制。

我希望分享一些技巧，不仅是为了使您的培训运行运行，还可以在诸如Kubernetes之类的云资源上以具有成本效益的方式简化流程。

我将在以前的文章中参考获得最佳模型性能的元素，因此请务必在数据集中查看第1部分和第2部分，以及模型评估中的第3部分和第4部分。

第1部分 第2部分 第3部分 第4部分

这是我将与您分享的知识，一旦我们在基础架构上奠定了基础：

构建您的Docker包含您的培训，使您的模型

构建您的Docker容器

执行您的训练运行

部署模型

基础架构概述

首先，让我简要说明我创建的设置，特别是围绕Kubernetes。您的设置可能完全不同，这很好。我只是想在基础架构上设置舞台，以便其余的讨论是有道理的。

图像管理系统

这是您部署的服务器，为您的主题专家提供用户界面，以标记和评估图像分类应用程序的图像。该服务器可以在Kubernetes群集上作为POD运行，但是您可能会发现，运行具有更快磁盘的专用服务器可能会更好。

图像文件存储在以下目录结构中，如以下内容，该结构是自我记录且易于修改的。

image_library/  -  cats/  -  image1001.png -dogs/  -  image2001.png  div>  div>

image_library/ - cats/ - image1001.png -dogs/ - image2001.png div> div>

云存储

云存储 成千上万的 tar 并行

Kubernetes或Docker Engine

docker tar local 空dir tar ” / < / div>