Copilot Arena: A platform for code
图1。CopilotArena是一种VSCODE扩展，它直接从开发人员那里收集了代码的偏好。随着模型功能的提高，大型语言模型（LLM）越来越多地集成到用户环境和工作流中。特别是，软件开发人员在集成开发环境（例如VS代码，Intellij或Eclipse）中使用LLM供电工具代码。尽管这些工具越来越多地用于实践中，但当前的LLM评估努力捕获用户如何在真实环境中与这些工具进行交互，因为它们通常仅限于简短的用户研究，只考虑简单的编程任务而不是现实世界中的系统，或依靠从开发环境中删除的基于Web的平台。为了解决这些限制，我们介绍了Copilot Arena，该应用程序旨在通过直接在开发人员的实际工作流
