详细内容或原文请订阅后点击阅览
BlazeFace:如何在浏览器中运行实时对象检测
训练 BlazeFace 模型的分步指南,从 Python 训练管道到 JavaScript 演示,再到模型转换。自由改编自 Unsplash 上的 visuals 的照片得益于 Ultralytics 的 YOLO 等库,如今只需几行代码即可轻松创建强大的对象检测模型。不幸的是,这些解决方案的速度还不够快,无法在任何设备上以每秒 30 帧(通常被认为是视频应用程序的实时极限)的速度在 Web 浏览器中实时视频流上运行。通常,它在普通移动设备上的运行速度低于 10 fps。Web 浏览器上最著名的实时对象检测解决方案是 Google 的 MediaPipe。这是一个非常方便且用途广泛的解决方案,因为它可以轻松地在许多设备和平台上工作。但是,如果您想制作自己的解决方案怎么办?在这篇文章中,我们建议基于 BlazeFace 模型构建我们自己的轻量级、快速且强大的对象检测模型,该模型在几乎所有设备上的运行速度都超过 30 fps。所有用于此目的的代码都可以在我的 GitHub 的 blazeface 文件夹中找到。BlazeFace 模型由 Google 提出,最初用于 MediaPipe 的人脸检测,它非常小巧快速,同时足够强大,可以完成人脸检测等简单的对象检测任务。不幸的是,据我所知,GitHub 上没有这个模型的在线训练流程;我能找到的只有这个仅用于推理的模型架构。通过
来源:走向数据科学BlazeFace:如何在浏览器中运行实时对象检测
BlazeFace:如何在浏览器中运行实时对象检测
训练 BlazeFace 模型的分步指南,从 Python 训练管道到 JavaScript 演示,再到模型转换。
得益于 Ultralytics 的 YOLO 等库,如今只需几行代码即可轻松创建强大的对象检测模型。不幸的是,这些解决方案的速度还不够快,无法在任何设备上以每秒 30 帧的速度(通常被认为是视频应用程序的实时极限)在 Web 浏览器中实时视频流上运行。通常情况下,它在普通移动设备上的运行速度低于 10 fps。
Ultralytics 的 YOLOWeb 浏览器上最著名的实时对象检测解决方案是 Google 的 MediaPipe。这是一个非常方便且用途广泛的解决方案,因为它可以轻松地在许多设备和平台上工作。但是,如果您想制定自己的解决方案怎么办?
Google 的 MediaPipe在这篇文章中,我们建议基于 BlazeFace 模型构建自己的轻量级、快速且强大的对象检测模型,该模型在几乎所有设备上的运行速度都超过 30 fps。用于此的所有代码都可以在我的 GitHub 的 blazeface 文件夹中找到。
GitHub blazefaceBlazeFace 模型由 Google 提出,最初用于 MediaPipe 的人脸检测,该模型非常小巧快速,同时足够强大,可以完成人脸检测等简单的物体检测任务。不幸的是,据我所知,GitHub 上没有该模型的在线训练流程;我能找到的只有这个仅推理的模型架构。通过这篇文章,我们将使用一个完全可用的流程训练我们自己的 BlazeFace 模型,并使用可用的 JavaScript 代码在浏览器上使用它。
BlazeFace 这个仅推理的模型架构更具体地说,我们将经历以下步骤:
PyTorch CC BY 2.0 。