XiaoMi-AI文件搜索系统
World File Search System边缘设备
人工智能应用组件布局和计算连续体资源选择的随机贪婪方法
人工智能 (AI) 和深度学习 (DL) 现已无处不在，应用范围从个人助理到医疗保健。如今，随着移动计算和物联网的加速迁移，广泛的终端设备会产生大量数据，这决定了边缘计算范式的兴起，在这种范式中，计算资源分布在具有高度异构容量的设备之间。在这种分散的情况下，高效的组件放置和资源分配算法对于最佳地协调计算连续资源至关重要。在本文中，我们提出了一种工具，可在设计时有效解决 AI 应用程序的组件放置问题。通过随机贪婪算法，它可以确定在异构资源（包括边缘设备、基于云 GPU 的虚拟机和功能即服务解决方案）中提供性能保证的最低成本放置位置。
PerCV.ai 平台的隐私和数据保护
在运营阶段部署视觉 AI 解决方案意味着视觉系统或视觉传感器接收输入图像或视频，并生成元数据，例如人数或汽车数量，或与特定对象相关的事件（例如产品识别）。在此阶段，PerCV.ai 通过两种方式确保隐私，首先是使用边缘 AI，其次是尽可能使用视觉传感器设计。边缘 AI 意味着所有视频和图像数据都在视觉传感器上实时本地处理，元数据在边缘设备提取，只有这些元数据可以传递到云或其他基础设施。在运营阶段，边缘 AI 不会存储任何图像或视频数据。这是 PerCV.ai 的强项，因为我们可以在各种边缘平台中部署视觉 AI 解决方案，从强大的 GPU 和 VPU 到微型 MCU 和 DSP。更多详细信息可在 Irida Labs 网站的合作伙伴部分找到。
使用 GAP9 SoC 进行实时闭环脑电图处理
项目描述 闭环可穿戴脑电图处理系统包括信号收集前端、数据预处理和活动识别信号处理单元以及意图呈现执行器。其中，处理单元在意图识别性能指标中起着关键作用，包括能耗、推理延迟以及识别准确性。Greenwaves Technologies 的 GAP9 为 AI 应用提供了一流的超低能耗神经网络性能，因此可以成为从脑电图信号中读取意图的完美候选。此外，GAP9 还具有用于高精度信号预处理的 DSP 单元、高功率效率和高源时钟以实现快速响应。该提案旨在测试 GAP9 上闭环电机想象识别的整体性能，您将有非常好的机会巩固您在机器学习、边缘设备推理以及脑电图相关科学方面的知识。要求/知识...
摩根士丹利科技、媒体和电信会议 2023 年 3 月 7 日星期二
另一件事是，看看我们当时所经历的，我们进行了一些相当大幅度的成本削减，并且我们取消了许多企业悬而未决的成本等等。但这也是我们向前迈进的一个小角度，当时我们通过股票回购向客户返还了大量现金……相当密集的股票回购。从那时起，我们实际上一直在关注市场，从外部视角看待市场，并说，什么是正确的邻接点，什么是我们投资和发展这家公司的合理场所，我们知道我们在公共安全方面拥有值得信赖的顾问地位，而企业安全类型的客户才是可以增长的地方。我们首先关注的是视频。我们在 2018 年收购了 Avigilon，但我认为很多人都不知道，我们花了两年的时间才达到这一点，因为从根本上说，我们希望寻找一家提供端到端平台的公司，而这正是 Avigilon 为我们提供的。不仅包括人工智能摄像机的边缘设备，还包括视频管理软件和存储。
使用MicroTVM
摘要 - 在过去的几年中，越来越多的AI应用程序应用于边缘设备。但是，由数据科学家培训的具有机器学习框架的模型，例如Pytorch或TensorFlow，无法在边缘无缝执行。在本文中，我们开发了一个端到端代码生成器，使用MicrotVM（机器学习编译器框架扩展程序扩展）解决裸机设备上的推理的后端，将预训练的模型解析为C源库。一个分析表明，具有通用模块化加速器（UMA）界面的专用计算密集型运算符可以轻松地向专用加速器进行流动，而其他则在CPU核心中处理。通过使用提前C运行时自动生成的自动生成，我们在ARM Cortex M4F核心上进行了手势识别实验。索引项 - TVM，MicroTVM，模型部署，BYOC，UMA
APTQ：面向大型语言模型的注意力感知训练后混合精度量化
大型语言模型 (LLM) 极大地推进了自然语言处理范式。然而，高计算负荷和巨大的模型大小对在边缘设备上的部署提出了巨大挑战。为此，我们为 LLM 提出了 APTQ（注意感知训练后混合精度量化），它不仅考虑了每层权重的二阶信息，而且首次考虑了注意输出对整个模型的非线性影响。我们利用 Hessian 迹作为混合精度量化的敏感度指标，确保在保留模型性能的情况下进行明智的精度降低。实验表明，APTQ 超越了之前的量化方法，在 C4 数据集中实现了平均 4 位宽度和 5.22 困惑度，几乎相当于全精度。此外，APTQ 在 LLaMa-7B 和 LLaMa-13B 中分别以平均 3.8 的位宽实现了 68.24% 和 70.48% 的最佳零样本准确率，证明了其生成高质量量化 LLM 的有效性。
面向医疗应用的二值化神经网络的内存电阻式 RAM 实现
摘要 — 深度学习的出现大大加速了机器学习的发展。然而，边缘深度神经网络的部署受到其高内存和能耗要求的限制。随着新内存技术的出现，新兴的二值化神经网络 (BNN) 有望降低即将到来的机器学习硬件一代的能量影响，使机器学习能够在边缘设备上进行，并避免通过网络传输数据。在这项工作中，在介绍采用混合 CMOS - 氧化铪电阻存储器技术的实现后，我们提出了将 BNN 应用于心电图和脑电图等生物医学信号的策略，以保持准确度水平并降低内存要求。我们研究了二值化整个网络和仅二值化分类器部分时的内存-准确度权衡。我们还讨论了这些结果如何转化为 Imagenet 任务上面向边缘的 Mobilenet V1 神经网络。这项研究的最终目标是实现智能自主医疗设备。
面向医疗应用的二值化神经网络的内存电阻式 RAM 实现
摘要 — 深度学习的出现大大加速了机器学习的发展。然而，边缘深度神经网络的部署受到其高内存和能耗要求的限制。随着新内存技术的出现，新兴的二值化神经网络 (BNN) 有望降低即将到来的机器学习硬件一代的能量影响，使机器学习能够在边缘设备上进行，并避免通过网络传输数据。在这项工作中，在介绍采用混合 CMOS - 氧化铪电阻存储器技术的实现后，我们提出了将 BNN 应用于心电图和脑电图等生物医学信号的策略，以保持准确度水平并降低内存要求。我们研究了二值化整个网络和仅二值化分类器部分时的内存-准确度权衡。我们还讨论了这些结果如何转化为 Imagenet 任务上面向边缘的 Mobilenet V1 神经网络。这项研究的最终目标是实现智能自主医疗设备。
低功耗 AI 加速器的最新发展
摘要：随着机器学习和人工智能的持续快速发展，以及摩尔定律的日益临近，架构设计的新途径和新想法正在被创造和利用。其中一种途径是尽可能靠近用户（即在边缘）加速人工智能，以减少延迟并提高性能。因此，研究人员开发了低功耗人工智能加速器，专门用于加速边缘设备上的机器学习和人工智能。在本文中，我们概述了 2019 年至 2022 年之间的低功耗人工智能加速器。本文根据加速目标和功耗对低功耗人工智能加速器进行了定义。在本次调查中，我们介绍并讨论了 79 种低功耗人工智能加速器。所审查的加速器基于五个标准进行讨论：（i）功率、性能和功率效率，（ii）加速目标，（iii）算术精度，（iv）神经形态加速器，以及（v）行业与学术加速器。 CNN 和 DNN 是最受欢迎的加速器目标，而 Transformers 和 SNN 正在崛起。
在物联网中将业务流程放在首位 - Oracle
Oracle 已声明其使命是帮助人们以新的方式查看数据、发现见解并解锁无限可能。物联网是这一战略的关键推动因素，它提供新类型的数据，组织可以从中获取这些见解。在物联网发展的早期，许多软件供应商对物联网采取了横向、技术优先的方向。虽然市场最近已转向以用例为导向的消息传递，但 Oracle 多年来的战略一直是尝试了解物联网为客户提供业务价值的关键用例，并且该公司从企业应用程序到边缘设备开展工作，以确保其物联网产品组合满足这些需求。这种方法使该公司在物联网市场采取了更多的应用程序/解决方案导向，而不是平台导向。然而，值得注意的是，Oracle 的解决方案确实提供了基础的物联网平台功能，尽管该公司的上市方法是以特定领域的物联网解决方案而不是基础解决方案为主导。