机器学习的可扩展性：扩展您的模型以服务数百万用户

可扩展性当然是一个高层次的问题，我们都会为此感到兴奋。达到需要整合更多机器和资源来处理进入深度学习算法的流量的程度，是许多初创公司的梦想成真。

然而，许多工程团队并没有对此给予必要的关注。主要原因是：他们从一开始就没有明确的计划如何扩大规模。这完全没问题！因为我们首先需要专注于优化我们的应用程序和模型，然后再处理所有这些事情。但从一开始就有一个明确的计划不会对我们有什么坏处。

在本文中，我们将跟随一家小型 AI 初创公司，了解其从 1 个用户扩展到数百万用户的历程。我们将讨论处理用户群稳步增长的典型流程是什么，以及可以整合哪些工具和技术。当然，我们将从机器学习的角度探索可扩展性。我们将看到它与普通软件有何不同，以及会出现哪些新问题。

我们将跟随一家小型 AI 初创公司，见证其从 1 个用户扩展到数百万用户的历程

假设我们有一个深度学习模型，可以对图像进行分割。我们训练它，优化数据处理管道，围绕它构建一个标准的 Web 应用程序，现在是时候部署它了。

对图像进行分割的深度学习模型 训练 优化 Web 应用程序

那么我们的下一步是什么？

此时，我们基本上有两个选择。第一个是设置我们自己的服务器，在那里托管它，并在我们成长的过程中担心所有的可扩展性问题。最好我们可以在云提供商中部署应用程序并利用所有现成​​的基础设施。我假设你会选择第二个选项。如果你选择第一个，我真的想知道为什么！

假设我们选择 Google Cloud 作为我们的提供商，我们开设了一个帐户，设置了一个项目，然后就可以开始了。

可以吗？