Hanwha’s new global defense chief eyes aggressive expansion in every direction
“我们已经进行了15，20年的出口，但近年来我们真的一直在接触以创建全球国防工业基础，建立全球伙伴关系，当地国家的合作伙伴关系，“ Hanwha Global国防部长兼首席执行官迈克尔·库尔特（Michael Coulter）告诉Breaking Defense。
In response to Viasat suit, SDA will recompete 10-satellite award to Tyvak
法院申请不提供新的出价程序的拟议时间表，但确实显示，它将由不参与监督原始合同奖励的官员进行管理。
Smaller, Smarter, and Faster: How Mistral AI is Bringing Edge Devices to the Forefront
边缘计算正在改变我们处理和管理数据的方式。现在，数据不再发送到云服务器，而是直接在设备上处理。这是一项变革性的进步，尤其是对于依赖实时响应的行业，如医疗保健、汽车和智慧城市。虽然云计算已经实现了大规模数据处理，但它还不够 […] 更小、更智能、更快：Mistral AI 如何将边缘设备推向前沿首先出现在 Unite.AI 上。
Train, optimize, and deploy models on edge devices using Amazon SageMaker and Qualcomm AI Hub
在本文中，我们将介绍一种使用 Amazon SageMaker 和 Qualcomm AI Hub 在边缘进行端到端模型定制和部署的创新解决方案。
在计算机视觉中，主干架构对于图像识别、对象检测和语义分割任务至关重要。这些主干从图像中提取局部和全局特征，使机器能够理解复杂的模式。传统上，卷积层一直是这些模型的主要组成部分，但最近的进展结合了注意力机制，这增强了模型捕捉的能力。文章 LowFormer：一种高效的视觉主干模型，可在不牺牲准确性的情况下优化移动和边缘设备的吞吐量和延迟，首次出现在 AI Quantum Intelligence 上。
Liquid AI Launches LEAP and Apollo: A New Era for Edge AI Deployment Begins
新开发人员平台和消费者应用展示了部署在本地边缘设备上的可靠和高效生成的AI模型的力量，从而可以快速，私有和始终在AI体验
QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache
大型语言模型（LLMS）越来越多地被部署在边缘设备上，以进行长篇文章设置，从而越来越需要快速有效的长篇小说推断。在这些情况下，就GPU内存和延迟而言，键值（KV）缓存是主要的瓶颈，因为必须为每个解码步骤加载完整的KV缓存。虽然投机解码是一种广泛接受的技术来加速自回归解码，但由于KV缓存优化策略效率低下，现有方法通常难以实现大幅加速，并导致较低的接受率。到…
MIT’s Optical AI Chip That Could Revolutionize 6G at the Speed of Light
通过使深度学习以光速运行，该芯片可以允许边缘设备通过增强功能执行实时数据分析。由于较高的连接设备需要更大的带宽，例如远程操作和云计算等活动，因此管理所有用户共享的有限的无线频谱变得越来越困难。为了解决这个问题，[...]
Photonic processor could streamline 6G wireless signal processing
通过以光速进行深度学习，该芯片可以为边缘设备提供新的功能，以实时数据分析。
Top 25 AI chip companies in the world
随着人工智能继续从汽车保健改造到医疗保健，对高性能AI芯片的需求已达到前所未有的水平。这些芯片为从边缘设备和数据中心到自动机器人和生成AI模型的所有功能。随着NVIDIA最近宣布，它将开始在[…]
KV Prediction for Improved Time to First Token
基于变压器的语言模型推断从迅速的处理步骤开始。在此步骤中，该模型生成了第一个输出令牌并存储未来一代步骤所需的KV缓存。此及时的处理步骤在计算上可能很昂贵，当及时长度或批量尺寸上升时，在边缘设备上的数十亿个参数型号需要10秒或更高的时间。这通过将大量延迟引入模型的输出中来降低用户体验。为了减少产生验证模型的第一个输出（称为“第一个令牌”或TTFT的时间）所花费的时间，我们…
Private Federated Learning In Real World Application – A Case Study
本文介绍了一种在边缘设备上使用私有联邦学习 (PFL) 进行机器学习模型训练的实现。我们引入了一种使用 PFL 解决使用用户私有数据训练模型的挑战的新框架。该框架可确保用户数据保留在单个设备上，只有必要的模型更新才会传输到中央服务器进行聚合，并提供隐私保障。我们详细介绍了我们的应用选择模型的架构，该模型结合了具有注意力机制的神经网络和通过不确定性管理进行歧义处理……
SLiCK: Exploiting Subsequences for Length-Constrained Keyword Spotting
在资源受限的边缘设备上进行用户定义的关键字识别具有挑战性。但是，关键字通常受最大关键字长度的限制，这在以前的工作中基本上没有得到充分利用。我们对关键字长度分布的分析表明，用户定义的关键字识别可以视为长度受限的问题，从而无需对可变文本长度进行聚合。这导致了我们提出的高效关键字识别方法 SLiCK（利用子序列进行长度受限的关键字识别）。我们进一步引入了子序列级匹配方案来……
Reducing the Size of AI Models
在边缘设备上运行大型 AI 模型使用 Pixlr 创建的图像AI 模型，尤其是大型语言模型 (LLM)，需要大量的 GPU 内存。例如，对于 2024 年 7 月发布的 LLaMA 3.1 模型，内存要求如下：80 亿参数模型需要 16 GB 内存（16 位浮点权重）更大的 4050 亿参数模型需要 810 GB（使用 16 位浮点数）在全尺寸机器学习模型中，权重表示为 32 位浮点数。现代模型具有数亿到数百亿（甚至数千亿）的权重。训练和运行如此大的模型非常耗费资源：它需要大量的计算（处理能力）。它需要大量的 GPU 内存。它会消耗大量的能源，特别是，造成这种能源消耗的最大因素是：- 使用 3
The Ultimate Handbook for LLM Quantization
深入研究 LLM 量化和技术照片由 Siednji Leon 在 Unsplash 上拍摄 CPU 上的 LLM？是的，你没听错。从处理对话到创建自己的图像，AI 自诞生以来已经取得了长足的进步。但它也带来了瓶颈。随着模型的扩展，它们的计算需求也在增加。AI 开始严重依赖计算能力。为了满足这些需求，我们转向了 GPU，剩下的就是历史了。许多设备没有强大的 GPU，因此错过了 AI 功能。有必要缩小这些模型的大小和功能，以便在计算能力有限的设备（如手机或仅配备 CPU 的计算机）上运行 AI 模型。早期的努力包括修剪和蒸馏等技术。然而，这些方法对于通常具有大规模架构的 LLM 来说并不可行。最近
Keeping smart machines and compute functioning smoothly at the edge | Viam
Viam 简化了边缘设备与云的连接，确保了强大的车队/数据管理。在我们全面的博客文章中发现全部潜力。
简介我一直在寻找 AutoML 解决方案的列表以及对它们进行比较的方法，但一直没能找到。所以我想我不妨编制一份清单供其他人使用。如果您不熟悉 AutoML，请阅读这篇文章以快速了解其优缺点。我还没有能够测试所有这些并做出适当的评论，所以这只是基于功能的比较。我试图挑选出我觉得最重要的功能，但它对你来说可能不是最重要的。如果您认为缺少某些功能，或者您知道应该在列表中的 AutoML 解决方案，请告诉我。在我们进入列表之前，我会快速介绍一下这些功能以及我如何解释它们。功能部署某些解决方案可以通过一键部署直接自动部署到云端。有些只是导出到 Tensorflow，有些甚至可以导出到边缘设备。类型可以是
