详细内容或原文请订阅后点击阅览
自动型模型培训：带有Tekton和BuildPacks的MLOPS管道
使用轻量级的GPT-2示例，用于容器化和编排ML培训工作流程的逐步指南。自动化后的模型培训：带有Tekton和Buildpacks的MLOPS管道首先出现在数据科学方面。
来源:走向数据科学机器学习有效地意味着简单地训练模型已不够；强大的，自动化和可重现的培训管道正在迅速成为MLOP中的标准要求。许多团队都在努力将机器学习实验与生产级CI/CD实践集成在一起，通常会纠缠在手动过程或复杂的容器配置中。如果您可以简化培训工作流程的容器化并精心策划它们，而无需编写Dockerfile，该怎么办？
在本教程中，我将展示如何使用开源Tekton Pipelines和BuildPacks自动培训GPT-2型号。我们将在不编写Dockerfile的情况下完成培训工作流程，并使用Tekton进行构建和培训步骤。
Tekton buildpacks我将使用轻巧的GPT-2调整示例来演示此示例，显示模型在训练后与训练后的输出，并提供逐步说明以重新创建管道。
工具包的概述：Tekton，buildpacks和gpt-2
Tekton Pipelines：ML
Tekton Pipelines是一个开源CI/CD框架，在Kubernetes上本地运行。它使您可以将管道定义为Kubernetes资源，从而启用云本地构建，测试和部署工作流程。在Tekton管道中，每个步骤都在容器中运行，使其非常适合需要隔离和可重复性的ML工作流。
buildpacks：跳过dockerfiles
paketo buildpacksGPT-2：轻量级模型
我们将使用GPT-2作为我们的示例模型。这是一个众所周知的变压器模型，至关重要的是，它足够轻巧，可以快速调整一个小型的自定义数据集。这非常适合在不需要大量计算资源或等待时间的情况下展示我们训练管道的机制。我们会将其调整为一小撮提问对，使我们可以在管道起作用后看到其输出有明显的差异。
在项目中窥视：代码，数据和管道结构
类型sa.yml
|