机构名称：
¥ 1.0
摘要 — 对快速响应的高质量人工智能生成内容 (AIGC) 的追求推动了自然语言处理 (NLP) 服务的发展，尤其是在边缘启用的服务 (即边缘 NLP)。具体来说，我们研究了下一个单词预测的分布式推理，这是用户设备上移动键盘的流行边缘 NLP 服务。因此，我们优化了耦合指标，即最大化预测点击率 (CTR) 以提高服务质量 (QoS)，最小化用户不耐烦以增强体验质量 (QoE)，并将能耗控制在可持续发展的预算范围内。此外，我们考虑了现实世界的环境，其中没有关于异构 NLP 模型预测准确性的先验知识。通过集成在线学习和在线控制，我们提出了一种新颖的分布式推理算法，用于考虑用户不耐烦的在线下一个单词预测 (DONUT)，以估计模型的预测准确性并平衡耦合指标之间的权衡。我们的理论分析表明，DONUT 实现了亚线性遗憾（CTR 损失），确保了有限的用户不耐烦，并保持了预算内的能耗。通过数值模拟，我们不仅证明了 DONUT 优于其他基线方法的性能，还证明了其对各种设置的适应性。
能量感知分布式推理的视角
主要关键词
相关文件推荐
