摘要 - 人工智能和典型的大语言模型(LLMS)的发展,为帮助系统管理员管理现代网络的复杂性提供了有希望的前景。,尽管存在这种潜力,但文献中仍然存在有关LLM可以理解计算机网络的程度的显着差距。没有经验证据,系统管理员可能会依靠这些模型,而不会确保其在准确执行与网络相关的任务方面的功效。在本文中,我们是第一个对LLMS对计算机网络理解的详尽研究。我们提出了几个研究问题,以确定LLM在提供网络拓扑及其问题时是否可以提供正确的答案。为了评估它们,我们开发了一个详尽的框架来评估LLMS在各种网络相关任务中的功能。我们在多个计算机网络上评估了我们的框架(例如,GPT4)和开放源代码(例如Llama2)模型。使用零拍的场景中,我们在通用LLM中的发现表明了令人鼓舞的结果,最佳模型的平均准确度为79.3%。专有的LLM在中小型网络中取得了值得注意的结果,而挑战则持续理解复杂的网络拓扑,尤其是对于开源模型。此外,我们提供了有关及时工程如何提高某些任务准确性的洞察力。索引术语 - LARGE语言模型,计算机网络,系统管理员。
NDIA 致力于提供一个没有身体、心理和言语骚扰的专业环境。NDIA 不会容忍任何形式的骚扰,包括但不限于基于种族、宗教、残疾、外貌、性别或性取向的骚扰。此政策适用于 NDIA 会议、会议和活动的所有参与者和出席者。骚扰包括冒犯性手势和口头评论、故意恐吓、跟踪、尾随、不当摄影和录音、持续中断谈话或其他活动、不当身体接触和不受欢迎的关注。被要求停止骚扰行为的参与者应立即遵守,否则将被取消参加 NDIA 活动的资格。
版权所有 2018 卡内基梅隆大学。保留所有权利。本材料基于国防部根据合同编号 FA8702-15-D-0002 与卡内基梅隆大学合作资助和支持的工作,该合同旨在运营软件工程研究所,该研究所是联邦政府资助的研究和开发中心。本材料中的观点、意见和/或发现均为作者的观点、意见和/或发现,除非另有文件指定,否则不应被视为官方政府立场、政策或决定。无担保。本卡内基梅隆大学和软件工程研究所材料按“原样”提供。卡内基梅隆大学不对任何事项作任何明示或暗示的保证,包括但不限于对用途的适用性、适销性、排他性或使用该材料所获得的结果的保证。卡内基梅隆大学不对专利、商标或版权侵权作任何形式的保证。[分发声明 A] 本材料已获准公开发布和无限制分发。非美国政府使用和分发请参阅版权声明。本材料可以完整复制,无需修改,也可以书面或电子形式自由分发,无需正式许可。任何其他用途均需获得许可。许可请求应直接发送给软件引擎