您应该如何测试您的机器学习项目?初学者指南
使用 Pytest 和 Pytest-cov 等标准库对机器学习项目进行测试的友好介绍代码测试,图片由作者提供简介测试是软件开发的重要组成部分,但根据我的经验,它在机器学习项目中被广泛忽视。很多人都知道他们应该测试他们的代码,但很少有人知道如何做并真正做到这一点。本指南旨在向您介绍测试机器学习流程各个部分的基本知识。我们将专注于在 IMDb 数据集上对 BERT 进行文本分类微调,并使用 pytest 和 pytest-cov 等行业标准库进行测试。我强烈建议您遵循此 Github 存储库中的代码:GitHub - FrancoisPorcher/awesome-ai-tutorials:最好的 AI 教程集合,让您成为数据科学的老板!项目概述以下是该项目的简要概述。bert-text-classification/═── src/│ ═── data_loader.py│ ═── evaluation.py│ ═── main.py│ ═── trainer.py│ └── utils.py═── tests/│ ═── conftest.py│ ═── test_data_loader.py│ ═── test_evaluation.py│ ═── test_main.py│ ═── test_trainer.py│ └── test_utils.py═── models/│ └── imdb_bert_finetuned.pth ═── environment.yml ═── requirements.txt ═── README.md ═── setup.py 常见的做法是将代码拆分为几个部分:src:包含我们用于加载数据集、训练和评估模型的主要文件。tests:包含不同的 Python 脚本。大多数情况下,每个脚本都有一个测试文件。我
来源:走向数据科学您应该如何测试您的机器学习项目?初学者指南
您应该如何测试您的机器学习项目?初学者指南
使用标准库(如 Pytest 和 Pytest-cov)测试机器学习项目的友好介绍
简介
简介测试是软件开发的重要组成部分,但根据我的经验,它在机器学习项目中被广泛忽视。很多人都知道他们应该测试他们的代码,但很少有人知道如何做并真正做到。
本指南旨在向您介绍测试机器学习流程各个部分的基本知识。我们将重点介绍如何在 IMDb 数据集上对 BERT 进行文本分类微调,并使用 pytest 和 pytest-cov 等行业标准库进行测试。
IMDb 数据集pytest
pytest-cov
我强烈建议您遵循此 Github 存储库中的代码:
Github 存储库项目概述
以下是该项目的简要概述。
bert-text-classification/═── src/│ ═── data_loader.py│ ═── evaluation.py│ ═── main.py│ ═── trainer.py│ └── utils.py═── tests/│ ═── conftest.py│ ═── test_data_loader.py│ ═── test_evaluation.py│ ═── test_main.py│ ═── test_trainer.py│ └── test_utils.py═── models/│ └── imdb_bert_finetuned.pth═── environment.yml═── requirements.txt═── README.md└── setup.pybert-text-classification/═── src/│ ═── data_loader.py│ ═── evaluation.py│ ═── main.py│ ═── trainer.py│ └── utils.py═── tests/│ │ ...
src:
XXX.py
test_XXX.py
测试
评估.py
test_evaluation.py
conftest.py
固定装置
pytest
pytest
foo