详细内容或原文请订阅后点击阅览
5个用于建造优化拥抱面孔管道的技巧
查看这五个简单而强大的技巧，可以为您的拥抱面部工作。
来源:KDnuggets＃简介
＃拥抱面已经成为许多AI开发人员和数据科学家的标准，因为它大大降低了与高级AI合作的障碍。开发人员可以不用从头开始使用AI模型，而是可以访问毫无麻烦的广泛鉴定模型。用户还可以通过自定义数据集对这些模型进行调整并快速部署它们。
拥抱脸拥抱面框架API包装器之一是Transformers Pipelines，这是一系列由验证的模型组成的软件包，其令牌，其令牌，预处理和后处理以及相关组件以及与AI用例工作的相关组件。这些管道抽象复杂代码，并提供了一个简单的无缝API。
变形金刚管道但是，使用变压器管道可能会变得凌乱，并且可能不会产生最佳管道。这就是为什么我们将探索五种不同的方式来优化变形金刚管道的方式。
让我们进入它。
＃1。批次推理请求
通常，使用变压器管道时，我们不会完全利用图形处理单元（GPU）。多个输入的批处理处理可以显着提高GPU利用率并提高推理效率。
您可以使用管道的batch_size参数或传递输入列表，而不是一次处理一个样本，以便模型在一个正向通过中处理多个输入。这是一个代码示例：
batch_size
来自变形金刚的导入管道
管道=管道（管道
任务=“文本分类”，
型号=“ distilbert-base-based-fineTuned-sst-2-英语”，
device_map =“自动”
）
文字= [
“很棒的产品和快速交货！”，
“ UI令人困惑且缓慢。”，
“支持很快解决了我的问题。”
“不值得。”
这是给出的
结果=管道（文本，batch_size = 16，截断= true，padding = true）
对于结果，结果：
打印（r）
通过批处理请求，您可以实现更高的吞吐量，而对延迟的影响只有最小的影响。