任务区分关键词检索结果

动态执行

Dynamic Execution

让您的 AI 任务区分困难和简单问题在这篇立场文件中,我讨论了一个前提,即许多潜在的性能增强都被搁置了,因为我们通常不解决动态执行的潜力。我想我需要首先定义在这种情况下什么是动态执行。正如你们许多人无疑知道的那样,我们经常通过仔细研究模型本身以及可以做些什么来使该模型的处理更高效(可以通过更低的延迟、更高的吞吐量和/或节能来衡量)来解决性能优化问题。这些方法通常解决模型的大小问题,因此我们会寻找压缩模型的方法。如果模型较小,则内存占用和带宽要求会得到改善。一些方法还解决了模型中的稀疏性问题,从而避免了无关紧要的计算。不过……我们只关注模型本身。这绝对是我们想要做的事情,但是还有其他机会可以利用