大型语言模型(LLM)通过其出色的理解,合成和推理能力彻底改变了自然语言处理。但是,由于计算限制,内存限制和边缘硬件异质性,在资源约束的边缘设备上部署LLM提出了重大挑战。本调查提供了涵盖Edge LLM最近进步的全面概述,涵盖了整个生命周期 - 从资源过高的模型设计和预部主持策略到运行时推理优化。它还探讨了各个域之间的设备应用程序。通过综合最新技术并识别出启示研究方向,该调查弥合了LLM的巨大潜力与边缘计算的约束之间的差距。
安全的访问服务边缘(SASE)体系结构专注于使用云交付的安全服务,该服务在网络的最远边缘(即服务边缘或用户端点)强制执行安全访问。连接到Fortisase时,远程用户进入Internet,As-As-As-Service(SaaS)应用程序或数据中心中的私有托管应用程序通过FireWall-As-A-A-Service(FWAAS)或安全网络网关(SWG),或者在此,流量符合安全政策和先进的威胁保护措施。对于流量重定向,远程用户的端点依赖于软件代理,网站后面的远程用户依赖于薄边缘设备,并且具有基于Web浏览器的设备的远程用户是无代理的,并且依赖Web浏览器代理设置。
TIA 的基础是稳定的自动化核心,包括集成的硬件和软件产品组合以及特定服务 - 从咨询到实施和优化机器和工厂。全面的产品组合不断增长,以跟上不断涌现的新需求。例如,工业边缘技术将逐步集成到 TIA 产品组合中。IT 技术正在转向制造业,其中边缘设备已经具有足够的处理能力来运行某些应用程序,并可以协调与工厂其他部分的通信。借助工业边缘,用户可以自己决定数据是保留在现场还是在云端处理。因此,每个人都可以根据自己的需求使用最佳解决方案,无论是使用西门子设备还是根据基础设施量身定制。(请阅读第 10-13 页有关西门子工业边缘的更多信息。)
3.2.4 隐私和安全 设备上的 AI 本质上有助于保护用户的隐私,因为查询和个人信息仅保留在设备上。对于企业和工作场所使用生成式 AI,这有助于解决保护公司机密信息的挑战。例如,用于生成代码的编程助手应用程序可以在设备上运行,而不会将机密信息暴露给云端 - 解决了当今公司已经面临的问题。9 对于消费者使用,混合 AI 架构中的“私人模式”允许用户严格利用设备上的 AI 向聊天机器人输入敏感提示,例如健康问题或创业想法。此外,设备上的安全性很强,并将不断发展,以确保个人数据和模型参数在边缘设备上是安全的。
在不断发展的人工智能(AI)景观中,对跨不同领域的功能更强大的数据模型的需求导致模型大小的快速扩展。这种快节奏的进化不断增加AI模型的大小和复杂性,从而对计算和内存子系统的性能提出了前所未有的需求,以处理和整合来自各种输入的大量数据 - 文本,音频,视频等。随着AI的继续进步,高级内存解决方案对于支持这种计算增长至关重要,不仅对于大型数据中心,而且对于包括AI PC在内的边缘设备,它们将AI功能直接带给个人和专业设备。优化的内存解决方案有助于跨设备和平台进行下一代AI驱动的创新。
在精确的牲畜种植中,牛的个体识别对于为赋予动物福利,健康和生产力做出的决定提供了至关重要的。在文字中,存在可以读取耳罩的模型;但是,它们不容易携带到现实世界中的牛生产环境,并主要在静止图像上做出预测。我们提出了一个基于视频的牛耳牌阅读系统,称为deRmycow,该系统利用视频中的节奏特性来准确检测,跟踪和读取边缘设备上25 fps的牛耳标。对于视频中的每个帧,ReDmycow在两个步骤中发挥作用。1)标签检测:Yolov5s对象检测模型和NVIDIA DEEPSTREAM跟踪层检测并跟踪存在的标签。2)标签读数:小说whentoread mod-ule决定是读取每个标签,使用trba场景文本识别模型或使用从前框架上读取的读数。该系统是在边缘设备上实现的,即NVIDIA JETSON AGX ORIN或XAVIER,使其可移植到没有外部计算资源的牛生产环境中。要达到实时速度,请阅读 - MyCow仅在当前框架中读取检测到的标签,如果它认为在当前框架中明显改善决策时,它将获得更好的读数。理想情况下,这意味着即使标签被遮挡或模糊,也可以在视频中找到标签的最佳读数并存储在视频中。在真正的中西部奶牛场住房测试该系统时,9,000头母牛,雷米科(Demmycow)系统准确地阅读了96.1%的印刷耳廓,并证明了其现实世界中的商业潜力。devmycow为商业牛农场提供了知情的数据驱动决策流程的机会。
在不断发展的人工智能(AI)景观中,对跨不同领域的功能更强大的数据模型的需求导致模型大小的快速扩展。这种快节奏的进化不断增加AI模型的大小和复杂性,从而对计算和内存子系统的性能提出了前所未有的需求,以处理和整合来自各种输入的大量数据 - 文本,音频,视频等。随着AI的继续进步,高级内存解决方案对于支持这种计算增长至关重要,不仅对于大型数据中心,而且对于包括AI PC在内的边缘设备,它们将AI功能直接带给个人和专业设备。优化的内存解决方案有助于跨设备和平台进行下一代AI驱动的创新。
Emass的创始人Mohamed M. Sabry Aly评论说:“这项合作代表了AI硬件创新的新时代。Emass最近从MRAM技术过渡了,因为RERAM能够更好地支持物联网,汽车和消费电子产品中的下一代系统。通过将Weebit的替代重新拉动与我们的超低功率AI技术相结合,我们为下一代解决方案奠定了基础,该解决方案将重新为AI应用程序重新提供能源效率。这种集成可以增强系统性能,并确保可扩展性和可持续性,为更智能,更自主的边缘设备铺平道路。通过这种协同作用,我们准备在AI计算中实现无与伦比的进步,在物联网,医疗保健,汽车和工业自动化等行业中造成有意义的影响。”
Emass的创始人Mohamed M. Sabry Aly评论说:“这项合作代表了AI硬件创新的新时代。Emass最近从MRAM技术过渡了,因为RERAM能够更好地支持物联网,汽车和消费电子产品中的下一代系统。通过将Weebit的替代重新拉动与我们的超低功率AI技术相结合,我们为下一代解决方案奠定了基础,该解决方案将重新为AI应用程序重新提供能源效率。这种集成可以增强系统性能,并确保可扩展性和可持续性,为更智能,更自主的边缘设备铺平道路。通过这种协同作用,我们准备在AI计算中实现无与伦比的进步,在物联网,医疗保健,汽车和工业自动化等行业中造成有意义的影响。”
心脏病是全球最常见的死亡原因。因此,检测和分类心电图 (ECG) 信号对于延长预期寿命至关重要。在本研究中,我们旨在在现场可编程门阵列 (FPGA) 中实现人工智能信号识别系统,该系统可以在需要电池的边缘设备中识别生物信号模式,例如 ECG。尽管分类准确度有所提高,但深度学习模型需要大量的计算资源和功率,这使得深度神经网络的映射速度变慢,并且在可穿戴设备上的实现具有挑战性。为了克服这些限制,已经应用了脉冲神经网络 (SNN)。SNN 是受生物启发的事件驱动神经网络,使用离散脉冲计算和传输信息,这需要更少的操作和更简单的硬件资源。因此,与其他人工神经网络算法相比,它们更节能。