XiaoMi-AI文件搜索系统
World File Search SystemGROQ
groq先天：将AI驱动的机器人带给所有人
先天是一家基于硅谷的初创公司，很容易迅速构建非常聪明的机器人。通过使用各种LLM和视觉语言模型，先天平台使工程师和业余爱好者能够快速训练机器人执行特定的任务。先天的平台集成了视觉语言模型，传统的计算机视觉模型以及由先天训练并在机器人本地运行的物理操纵模型。目前，它使用Meta的Llama 3来为其主要推理引擎供电。这使在平台上运行的机器人是内置的 - 一个人可能会说先天 - 可以理解和解释其周围环境的能力。
Groq & Hunch：利用人工智能为更具创造力和生产力的业务团队提供支持
例如，公司拥有大量有关其客户和用例的各种内容信息，这些信息分布在多个平台上。当当今的产品团队需要设计下一组功能或产品时，几乎不可能将所有分散的数据集中到一个地方，以便使用、分析并转化为可操作的产品简介、项目计划、营销内容等。使用 AI 可以做到这一点，但前提是这些团队能够轻松地规划工作流程并选择合适的 LLM。
为实时AI和HPC提供低潜伏期。
GROQ的体系结构与高批量GPU的相反，GROQCHIP处理器具有230 MB的SRAM，可提供80TB/s的芯片带宽。图3显示了Groqchip如何非常有效地揭示指令级别并行性，记忆级并行性和数据级并行性，从而同时采用了计算和交流的独特方法。开发后，控制权被移交给软件端，以构建一个大规模的并行编译器，以利用所有这些形式的并发。这有助于有助于Groq在批次1.在其他体系结构中，必须处理256个用于培训的256 BA TCH，这意味着必须处理256张图像，并且“在应用程序可以提供有关第一个的信息之前从''中学到的图像。在GROQ在批次1运行，因此在收到的每个图像时处理每个图像（而不是等待所有256），不仅等待降低，精度会提高。另外，GROQ架构允许开发人员不摊销GPU和其他传统体系结构中固有的长潜伏期。
HIPEAC-Vision-2025.pdf
仅针对大型语言模型（LLM）推断的筹码越来越多，例如Groq，Sambanova，Amazon Web Services（AWS）推论（他们还开发了Trainium Chip Specialized用于培训）。每个主要玩家都试图开发自己的硬件加速器，由Google凭借其张量处理单元（TPU）（现在是Trillium，第六代Google Cloud TPU）率先开发，例如。aws，Meta及其下一个Genmtia [meta-mtia]等。拥有一个专门的推理芯片不仅允许提高效率（在为训练大型型号的一项大型任务中提供了不同的要求，以提供大量的用户的推理），而且还会降低延迟，这对聊天机器人来说不是一个真正的问题（用户不能更快地写或读取），但对于代理商AI非常有用，而对于代理AI非常有用。
翘曲变形和变形的优化模拟方法...
摘要 — 大型语言模型等生成式人工智能工作负载的计算需求每年增长 1000%，而摩尔定律的扩展每年仅提供 3% 的晶体管/平方毫米。为了缩小这些巨大的需求和供应指数之间的差距，行业不仅需要更好的芯片间互连，还需要将更多硅片集成到单个封装中的方法。本文将重点介绍 Groq 语言处理单元 (LPU TM ) 推理引擎的先进封装建模，这是迄今为止性能最高的大型语言模型推理引擎。更具体地说，本文将重点介绍准确的翘曲预测，这已成为对设计可靠性和可制造性具有深远影响的关键挑战。
对深度学习工作负载的新型 AI 加速器的全面评估
摘要 — 科学应用越来越多地采用人工智能 (AI) 技术来推动科学发展。高性能计算中心正在评估新兴的新型硬件加速器，以有效运行 AI 驱动的科学应用。由于这些系统的硬件架构和软件堆栈种类繁多，因此很难理解这些加速器的性能。深度学习工作负载评估的最新进展主要集中在 CPU 和 GPU 上。在本文中，我们概述了 SambaNova、Cerebras、Graphcore 和 Groq 的基于数据流的新型 AI 加速器。我们首次对这些加速器进行了评估，评估内容包括深度学习 (DL) 原语、基准模型和科学机器学习应用程序等多种工作负载。我们还评估了集体通信的性能，这对于分布式 DL 实现至关重要，同时还研究了扩展效率。然后，我们讨论将这些新型 AI 加速器集成到超级计算系统中的关键见解、挑战和机遇。