机构名称：
¥ 1.0
边缘设备大型语言模型竞赛旨在探索直接在边缘设备上部署的大语言模型（LLMS）的能力和潜力。LLM的令人难以置信的能力使得将其应用于实用的边缘设备，以实现LLM在各个学科中的广泛应用。但是，LLMS的庞大尺寸对严格限制的计算资源和内存的边缘设备构成了重大挑战。例如，即使在采用INT8量化后，部署小规模的10B LLM也可能需要多达20GB的主内存（DRAM），但不幸的是，这超出了大多数商品智能手机的内存。此外，LLM的高能量消耗将迅速消耗智能手机的电池。为了促进LLM在各种实际情况下的应用，我们提出了这种及时的竞争，以鼓励学术界和行业的从业者为这种紧迫的需求提供有效的解决方案。通过挑战参与者开发可以在资源受限的边缘设备上运行的高效，优化的模型，竞争旨在解决与LLM相关的关键经济和环境问题，促进跨学科研究合作，并增强AI系统的隐私和安全性。
边缘设备大型语言模型竞赛
主要关键词
相关文件推荐
