XiaoMi-AI文件搜索系统
World File Search System随帧
使用 MATLAB GUI 进行移动物体检测和跟踪...
摘要：移动物体检测和跟踪是安全应用之一，由于其在视频监控、交通监控和图像识别等领域的应用，引起了计算机视觉研究人员的极大兴趣。移动物体检测涉及在连续帧中识别物体，而物体跟踪用于监控相对于感兴趣区域的移动。在这项研究工作中，GUI（图形用户界面）是使用 MATLAB 中的 Guide 创建的，它提供软件应用程序的点击控制，无需学习语言或输入命令即可运行应用程序。本文使用基于高斯混合模型的背景减法算法进行物体检测，该算法可以处理背景强度分布的较大变化，并使用卡尔曼滤波器进行视频跟踪，该滤波器使用随时间观察到的一系列测量值，包含统计噪声和其他不准确性，并产生未知变量的估计值，这些估计值往往比仅基于单个测量的估计值更精确，在物体周围绘制一个边界框以跟踪视频帧中移动的移动物体，每帧中物体的计数值显示在 MATLAB 命令窗口中。在这里，MATLAB 与 Arduino 板（基于微控制器的板）连接，该板与 LED 连接，根据计数值，LED 的数量将发光。MATLAB 的计数值通过串行通信与 Arduino 板通信。关键词：移动物体检测、跟踪、指南、MATLAB、LED、Arduino、串行通信。
与计算机视觉传感的语义通信用于边缘视频传输
摘要 - 尽管在边缘应用中广泛采用了视力传感器，例如监视，视频数据的传输会消耗大量频谱资源。Semantic Communication（SC）通过在语义层面提取和压缩信息，提供传输数据的准确性和相关性，同时大大减少传输信息的量，从而提供了解决方案。但是，由于缺乏感应能力，传统的SC方法由于在边缘视频中反复传输静态帧而面临效率低下，这会导致频谱效率低下。为了应对这一挑战，我们建议使用计算机视觉传感（SCCV）框架进行EDGE视频传输的SC。框架首先引入了压缩比（CR）自适应SC（CRSC）模型，能够根据帧是静态还是动态的，能够调整CR，并有效地保存光谱资源。此外，我们实施了一个对象检测和语义分割模型启用的传感（OSMS）方案，该方案可以智能地感知场景中的变化并通过封闭式分析评估每个帧的重要性。因此，OSMS方案根据实时感应结果为CRSC模型提供CR提示。此外，CRSC和OSM都设计为轻量级型号，可确保与实用边缘应用中常用的资源受限传感器的兼容性。实验模拟验证了所提出的SCCVS框架的有效性，证明了其提高传输效率的能力而无需牺牲关键的语义信息。
关于未来硬X射线探测器的考虑
X射线源在强度和时间域都继续前进，从而开放了分析物质结构和特性的新方法，前提是可以有效地记录所得的X射线图像。从这个角度来看，我们关注像素区域X射线检测器的特定局限性。尽管像素区域X射线检测器也在近年来进步，但许多实验仍然受到限制。特别是，需要以GHz速率获取连续图像的检测器；在同一图像中以数百kHz的帧速率在同一图像中可以准确测量单个光子和数百万光子的检测器；并有效地捕获了非常硬X射线的图像（20 keV至数百keV）。最新检测的数据量和数据速率超过了大多数实用的数据存储选项和读取带宽，因此需要在线处理数据或代替全帧全帧读数。
使用事件相机进行神经形态序列学习
图 1：机器人硬件和基于事件的视频。（A）移动机器人由带有 DAVIS346 事件摄像头的 TurtleBot3 Burger 构成。装有 48 个 SpiN-Naker 芯片的 Spinn-5 板（59）用于模拟我们的 SNN 模型。（B）该模型使用机器人在具有不同视觉混乱程度的自然环境中行驶时记录的数据进行训练/测试。（C）每当像素改变强度时，摄像头就会连续产生“事件”。'x' 和 'y'：像素地址，'t'：时间（来自原始 DAVIS 输出的纳秒时间分辨率），'on'：从暗到亮的变化，'off'：从亮到暗的变化。（D）传统视频具有固定速率的静态强度帧。（E）在向前运动期间集成“事件”，可以在事件摄像机的运动“帧”中可视化场景。红色和蓝色代表事件的极性，如图 (C) 所示。
COLVO：考虑几何和光度一致性
定位病变是结肠镜检查的主要目标。3D感知技术可以通过恢复结肠的3D空间信息来提高病变局部局部的准确性。但是，现有方法集中于单个帧的局部深度估计，并忽略了结肠镜的精确全局定位，因此未能提供病变的准确3D位置。此短缺的根本原因是双重的：首先，现有方法将结肠深度和结肠镜构成估计为独立任务，或将其设计为并行子任务分支。其次，结肠环境中的光源与结肠镜一起移动，从而导致连续框架图像之间的亮度波动。为了解决这两个问题，我们提出了一个新型的基于深度学习的视觉探针框架Colvo，它可以使用两个关键组成部分不断地估算结肠深度和结肠镜姿势：深度和姿势估计的深度策略（DCDP）和轻型一致的校准机制（LCC）。dcdp对夫妇融合和损失函数的利用对夫妇深度和构图估计模式的限制确保了连续帧之间几何投影的无缝比对。同时，LCC通过重新校准相邻帧的光度值来解释亮度变化，从而增强了Colvo的鲁棒性。对COLVO在结肠探测基准上进行的全面评估揭示了其在深度和姿势估计的最新方法上的承受能力。我们还展示了两个有价值的应用：肠道立即定位和完整的3D重建。Colvo的代码可从https://github.com/xxx/xxx获得。
实时计算脑电场以实现增强经颅磁刺激神经导航和优化
经颅磁刺激 (TMS) 线圈位置和脉冲波形电流通常用于在目标大脑区域实现指定的电场剂量。通过包括皮质上电场剂量的实时精确分布，可以改进 TMS 神经导航。我们介绍了一种方法并开发了软件来实时计算大脑电场分布，使其易于集成到神经导航中，并具有与一阶有限元法 (FEM) 求解器相同的精度。首先，将头部和允许的线圈位置之间的表面上的白噪声磁流产生的电场的跨度基组 (< 400) 正交化以生成模式。随后，利用互易和惠更斯原理通过 FEM 计算头部和线圈之间的表面上的模式引起的场，这些场与分离表面上的在线（实时）计算的一次场结合使用以评估模式扩展。我们对 8 名受试者的 FEM 和实时计算的 E 场进行了比较分析，使用了两种头部模型类型（SimNIBS 的“headreco”和“mri2mesh”管道）、三种线圈类型（圆形、双锥和 8 字形）和 1000 个线圈位置（48,000 次模拟）。任何线圈位置的实时计算都在 4 毫秒 (ms) 以内，适用于 400 种模式，并且需要 GPU 上不到 4 GB 的内存。我们的解算器能够在 4 毫秒内计算 E 场，使其成为将 E 场信息集成到神经导航系统中的实用方法，而不会对帧生成造成重大开销（分别在 50 毫秒和 20 毫秒内每秒 20 帧和 50 帧）。
数据表 AI-deck 彩色相机模块 - Rev 1
超低功耗图像传感器，专为始终开启的视觉设备和应用而设计 高灵敏度 3.6μ BrightSense(TM) 像素技术 324 x 324 有效像素分辨率，支持 QVGA 窗口、垂直翻转和水平镜像读出 30FPS 时 <1.1mW QQVGA 分辨率，30FPS 时 < 2mW QVGA 分辨率 可编程黑电平校准目标、帧大小、帧速率、曝光、模拟增益（高达 8 倍）和数字增益（高达 4 倍） 自动曝光和增益控制环路，支持 50Hz/60Hz 闪烁避免 灵活的 1 位、4 位和 8 位视频数据接口，具有视频帧和行同步 具有可编程 ROI 和检测阈值的运动检测电路，具有数字输出作为中断 片上自振荡器 用于寄存器访问的 I2C 2 线串行接口 CSP 和裸片传感器封装选项 高 CRA，适用于小型模块设计
AI-deck 单色相机模块数据表 - Rev 1
超低功耗图像传感器，专为始终开启的视觉设备和应用而设计 高灵敏度 3.6μ BrightSense(TM) 像素技术 324 x 324 有效像素分辨率，支持 QVGA 窗口、垂直翻转和水平镜像读取 30FPS 时 <1.1mW QQVGA 分辨率，30FPS 时 < 2mW QVGA 分辨率 可编程黑电平校准目标、帧大小、帧速率、曝光、模拟增益（高达 8 倍）和数字增益（高达 4 倍） 自动曝光和增益控制环路，支持 50Hz / 60Hz 闪烁避免 灵活的 1 位、4 位和 8 位视频数据接口，具有视频帧和行同步 具有可编程 ROI 和检测阈值的运动检测电路，具有可用作中断的数字输出 片上自振荡器 用于寄存器访问的 I2C 2 线串行接口 CSP 和裸片传感器封装选项 高 CRA，适用于小型模块设计
基于视觉的无人机传感系统实时空中物体定位与跟踪
摘要 —本文主要研究基于视觉的无人机导航障碍物检测与跟踪问题。通过将物体检测和跟踪有效地集成到动态卡尔曼模型中，开发了一种从单目图像序列中进行实时物体定位和跟踪的策略。在检测阶段，通过每帧图像背景连接线索计算出的显著性图自动检测和定位感兴趣的物体；在跟踪阶段，采用卡尔曼滤波器对物体状态进行粗略预测，然后通过结合显著性图和两个连续帧之间的时间信息的局部检测器进一步细化预测。与现有方法相比，所提出的方法不需要任何手动初始化跟踪，运行速度比同类最先进的跟踪器快得多，并且在大量图像序列上实现了具有竞争力的跟踪性能。大量实验证明了所提出方法的有效性和优异的性能。