详细内容或原文请订阅后点击阅览
动态执行
让您的 AI 任务区分困难和简单问题在这篇立场文件中，我讨论了一个前提，即许多潜在的性能增强都被搁置了，因为我们通常不解决动态执行的潜力。我想我需要首先定义在这种情况下什么是动态执行。正如你们许多人无疑知道的那样，我们经常通过仔细研究模型本身以及可以做些什么来使该模型的处理更高效（可以通过更低的延迟、更高的吞吐量和/或节能来衡量）来解决性能优化问题。这些方法通常解决模型的大小问题，因此我们会寻找压缩模型的方法。如果模型较小，则内存占用和带宽要求会得到改善。一些方法还解决了模型中的稀疏性问题，从而避免了无关紧要的计算。不过……我们只关注模型本身。这绝对是我们想要做的事情，但是还有其他机会可以利用，以进一步提高性能吗？通常，我们会忽略最符合人类直觉的方法，这些方法不关注模型大小。图 1. 难与易决策的直觉难与易在图 1 中，有一个简单的示例（可能有点简单），关于如何在红色和蓝色数据点之间进行分类。能够绘制决策边界将非常有用，这样我们就可以尽可能地知道红点和蓝点位于边界的相对两侧。一个满足
来源:走向数据科学动态执行
完成您的AI任务以区分硬性和简易问题
在该立场论文中，我讨论了一个前提，即桌子上留下了许多潜在的性能增强，因为我们经常无法解决动态执行的潜力。
我想我需要首先定义在这种情况下的动态执行。毫无疑问，我们经常通过仔细研究模型本身以及可以使该模型的处理更加有效（可以根据较低的延迟，较高的吞吐量和/或能源节省来衡量），我们通常会通过仔细研究模型本身来解决性能优化。
动态执行这些方法通常解决模型的大小，因此我们寻找压缩模型的方法。如果模型较小，则可以提高内存足迹和带宽要求。某些方法还解决了模型中的稀疏性，从而避免了无关紧要的计算。
仍然……我们只是在研究模型本身。
这绝对是我们想做的事情，但是我们是否可以利用其他机会来提高性能？通常，我们忽略了不关注模型大小的最直觉方法。
硬vs Easy
在图1中，关于如何在红色和蓝色数据点之间进行分类，有一个简单的示例（也许有点简单）。能够绘制决策边界，以便我们知道红点和蓝点在边界的相对侧面真的很有用。一种方法是进行线性回归，我们尽可能地尽可能地拟合一条直线，以尽可能多地分离数据点。图1中的大胆黑线代表一个潜在边界。只专注于大胆的黑线，您会发现有大量的要点落在边界的错误一侧，但是大多数时候它都做得不错。
那么，我们可以对AI应用类似的方法吗？
动态执行方法
早期出口