XiaoMi-AI文件搜索系统
World File Search System随帧
Brain2Pix：根据大脑活动进行完全卷积自然视频帧重建
从大脑活动中重建复杂而动态的视觉感知仍然是机器学习应用于神经科学的一大挑战。在这里，我们提出了一种新方法，用于从非常大的单参与者功能性磁共振成像数据中重建自然图像和视频，该方法利用了图像到图像转换网络的最新成功。这是通过利用从整个视觉系统的视网膜主题映射中获得的空间信息来实现的。更具体地说，我们首先根据其对应的感受野位置确定特定感兴趣区域中的每个体素在视野中代表什么位置。然后，将视野上大脑活动的 2D 图像表示传递给完全卷积的图像到图像网络，该网络经过训练以使用带有对抗性正则化的 VGG 特征损失恢复原始刺激。在我们的实验中，我们表明我们的方法比现有的视频重建技术有了显着的改进。
基于时空脑电图帧的胶囊神经网络实现跨对象情绪识别
头皮脑电图是头皮电位与时间的关系图，因此，由于电极在头皮上的位置，它可以捕获空间信息，以及脑电波变化的时间信息。在本文中，我们提出了一种新方法，通过将信号合并到稀疏的时空框架中来组合表示空间和时间信息，以便计算机视觉领域的深度学习算法可以轻松地对其进行处理。在脑电图情绪识别设置中，还定义了模型对测试数据的熟悉度，并引入了一种数据拆分形式，使得模型必须在熟悉度最低的集合上执行。在 DEAP 数据集上训练 CapsNet 架构以执行跨主题二元分类任务，并分析了使用贝叶斯优化对超参数的调整。该模型报告称，对于 LOO 主题，最佳情况准确率为 0.85396，平均情况准确率为 0.57165，对于未见主题-未见记录分类，最佳情况准确率为 1.0，平均情况准确率为 0.51071，这与其他文献报告的结果相当。
使用多帧脑电图图像对工作记忆负荷进行跨学科领域自适应分类
工作记忆 (WM) 表示暂时存储在大脑中的信息，是人类认知领域的基础研究课题。脑电图 (EEG) 可以监测大脑的电活动，已广泛应用于测量 WM 水平。然而，一个关键挑战是个体差异可能会导致无效的结果，特别是当建立的模型遇到不熟悉的受试者时。在本文中，我们提出了一种具有空间注意的跨受试者深度适应模型 (CS-DASA)，以推广跨受试者的工作量分类。首先，我们将 EEG 时间序列转换为包含空间、光谱和时间信息的多帧 EEG 图像。首先，CS-DASA 中的受试者共享模块从源受试者和目标受试者接收多帧 EEG 图像数据并学习共同的特征表示。然后，在特定主题模块中，实施最大平均差异来测量再生核希尔伯特空间中的域分布差异，这可以为域自适应添加有效的惩罚损失。此外，采用主题到主题的空间注意机制来关注目标图像数据中的判别性空间特征。在包含 13 个主题的公共 WM EEG 数据集上进行的实验表明，所提出的模型能够实现比现有最先进方法更好的性能。
使用 CNN 特征跟踪连续视频帧中的关键点以用于太空应用
摘要：太空任务中的严格时间限制带来了许多自主任务的快速视频处理问题。视频处理涉及分离不同的图像帧、获取图像描述符、应用不同的机器学习算法进行物体检测、避障以及航天器自动操纵中涉及的许多其他任务。这些任务需要在时间限制内对图像进行最翔实的描述。在流量估计应用中，需要从连续图像帧中跟踪这些信息点。SIFT 和 SURF 等经典算法是特征描述开发的里程碑。但计算复杂性和高时间要求迫使关键任务避免在实时处理中采用这些技术。因此，本文选择时间保守且复杂度较低的预训练卷积神经网络 (CNN) 模型作为特征描述符。使用预训练的 VGG 模型参数设计和实现 7 层 CNN 模型，然后使用这些 CNN 特征匹配月球下降视频连续图像帧中的兴趣点。系统的性能是基于视觉和经验关键点匹配来评估的。然后使用 CNN 特征将视频中两个连续图像之间的匹配分数与 SIFT 和 SURF 等最先进的算法进行比较。结果表明，对于太空任务的关键点跟踪应用，在时间关键的视频处理任务中，CNN 特征更可靠、更稳健。关键词：人工智能；卷积神经网络；特征描述符；机器学习；太空任务 1 引言
光电自动检测及高精度系统...
摘要。本文介绍了可见光和红外频段数字视频处理技术在空中物体实时自动检测和精确跟踪方面的发展成果。开发了基于空中物体实时自动检测和精确跟踪的算法和软件。对算法进行了测试并评估了其性能。通过测量按顺序处理每帧所花费的时间来评估算法的性能。测试结果发现，在执行现场可编程门阵列 (FPGA) 算法时，处理帧所花费的时间与物体配置、帧填充和背景特征无关。当算法在 FPGA 上以 1920x1080 的帧大小执行时，其速度比在个人计算机 (PC) 上的执行速度快 20 倍以上。
基于事件的图像去模糊粗到精融合网络
事件驱动的图像去模糊是一种创新方法，涉及输入从事件相机获取的事件以及模糊帧以促进去模糊过程。与传统相机不同，事件驱动成像中的事件相机表现出低延迟特性并且不受运动模糊的影响，从而显著提高了图像去模糊的效果。在本文中，我们提出了一种开创性的基于事件的由粗到细的图像去模糊网络CFFNet。与现有的去模糊方法相比，我们的方法结合了事件数据，从单个帧生成多个粗帧，然后进一步将它们细化为清晰的图像。我们引入了一个事件图像融合块（EIFB）来粗融合事件和图像，在不同的时间点生成粗帧。此外，我们提出了一个双向帧融合块（BFFB）来对粗帧进行精细融合。CFFNet 通过从粗到细的全面融合过程有效地利用了事件数据的时空信息。在 GoPro 和 REBlur 数据集上的实验结果表明，我们的方法在图像去模糊任务中达到了最先进的性能。
与扩散模型的灵活运动
运动内部的运动是字符动画中的基本任务，包括生成运动序列，这些运动序列合理地插值用户提供的密钥帧约束。长期以来，它一直被认为是一个劳动密集型和具有挑战性的过程。我们研究了扩散模型在产生以关键帧为指导的各种人类运动中的潜力。与以前的Inbeting方法不同，我们提出了一个简单的统一模型，能够生成精确而多样的动作，以符合灵活的用户指定的空间约束以及文本调理。为此，我们提出了条件运动扩散在中间（condmdi），该扩散允许任意密集的或sparse的密钥帧放置和部分密钥帧约束，同时产生与给定密钥帧相干的高质量运动。我们评估了Condmdi在文本条件的HumanM3D数据集上的性能，并演示了扩散模型对密钥帧In-bet中间的扩散模型的多功能性和功效。我们进一步探索使用
burtlink：用于传统和虚拟现实系统的节能视频显示技术
传统的平面视频流是移动系统中最流行的应用。360◦视频内容和虚拟现实（VR）设备的快速增长正在加速VR视频流的采用。不幸的是，由于视频流过程中涉及的主要系统组件（例如，DRAM，显示界面和显示面板）的高功耗（例如DRAM，显示界面和显示面板），视频流消耗了大量的系统能量。例如，在召开平面视频流中，视频解码器（在处理器中）解码视频帧，并将它们存储在DRAM主内存中，然后在显示控制器（在处理器中）将解码的帧从DRAM传输到显示面板。此系统体系结构导致大量数据移动到DRAM以及高DRAM带宽使用情况。因此，DRAM本身消耗了超过30％的视频流能量。我们提出了burstlink，这是一种新型的系统级技术，它证明了平面和VR视频流的能源效率。burtlink基于两个关键想法。首先，burtlink直接从视频解码器或GPU传输了一个解码的视频框架到显示面板，完全绕过主机DRAM。到此目的，我们使用双重远程帧缓冲区（DRFB）而不是DRAM的双帧缓冲区扩展了显示面板，以便系统可以使用新框架直接更新DRFB，同时使用DRFB中存储的当前帧更新显示面板的像素。第二，使用现代显示界面的最大带宽将完整的解码框架以单个爆发的形式传输到显示面板。与传统的系统不同，帧传输速率由显示面板的像素上的吞吐量限制，burtlink始终可以通过将帧传输从drfb启用的像素更新中解除帧传输来充分利用现代显示器接口的高带宽。这种直接和突发的框架转移链接链接的这种直接和爆发的框架转移可显着降低视频显示的能量消耗1）通过1）减少对DRAM的访问，2）增加怠速功率状态的系统的居留性，3）在快速传输后，启用了几个系统组件的时间功率传输 - 每个系统组件将每个帧转移到DRFB中。
NeuronFlow：用于实时 AI 应用的神经形态处理器架构
视觉和音频传感器处理目前主要由神经网络主导。与手工制作的特征提取/分类技术相比，这些技术更强大、更准确且更易于开发。它们的出现使大量应用程序成为可能，并开辟了新的市场和机会。我们专注于云边缘应用程序，尤其是实时人工智能，即从一个或多个传感器接收实时数据并快速响应环境变化、实时做出决策的应用程序。实时人工智能通常对时间（尤其是延迟）和功耗有严格的要求，因此无法卸载到云端。我们认为，处理实时人工智能神经网络的流行策略存在功率瓶颈，现有计算架构无法解决这一问题。NeuronFlow 通过采用神经形态工程的最新进展和数据流处理器的旧理念来弥补这一差距。最先进的视觉和音频传感器会生成大量时间采样数据。大多数市售视觉传感器都依赖于以等距（即周期性）时间间隔捕获完整图像（帧），而不管场景是否发生变化。此类传感器称为基于帧的。处理视觉传感器的算法通常遵循基于帧的结构，因为这既适合占主导地位的基于帧的传感器技术，也因为它能够重用单帧算法来处理帧序列，即，单个图片对象识别 DNN 可以逐帧应用于视频序列。因此，相同的无关背景对象会在帧之间被重复识别和分析。处理所有这些多余的数据会大大增加计算负荷，导致处理效率极低、耗电。如果图像传感的绝对计算要求满足，那么这不会是一个严重的问题
CC274XR-Q1，CC274XP-Q1 AutomotivesImplelink™Bluetooth®5.4低能无线MCU数据表（Rev. A）
Ti的DP83TC817S-q1上的高级功能可以使用精确时间协议（PTP）恢复传入的中心时钟。设备的集成输入/输出触发了雷达的框架，在几个雷达上及时提供了同步的雷达框架。此同步框架被传达回雷达电子控制单元。DP83TC817S-Q1然后测量接收到的雷达帧的频率偏移，在下一个帧周期中纠正了雷达频率偏移，并同步了频域中的后续帧。在时间域和频域中的同步使中央ADAS MCU能够使用很少的后处理中从传感器中提取的数据，并且比软件级同步提供了更高的准确性。