XiaoMi-AI文件搜索系统
World File Search System滤除
用算法思维链理解 LLM 训练数据中噪声的影响
在预训练和微调期间，大型语言模型 (LLM) 都会在质量参差不齐的数万亿个文本标记上进行训练。这两个训练阶段通常都涉及启发式地滤除“低质量”或嘈杂的训练样本，但对于噪声的类型或强度如何影响下游性能，人们知之甚少。在这项工作中，我们研究了思路链 (CoT) 中的噪声如何影响算法可解任务的高度受控设置中的任务性能。首先，我们开发了跟踪整数 (TInt) 框架来为整数列表上的任何算术函数生成高度可定制的带噪声执行跟踪。然后，我们定义了两种类型的噪声：静态噪声，一种在计算 CoT 跟踪后应用的局部形式的噪声，以及动态噪声，一种在计算跟踪时传播错误的全局形式的噪声。然后，我们评估了在不同数据集污染程度和强度的噪声数据集上，提示和微调预训练模型的测试性能。我们发现，微调模型对高水平静态噪声具有极强的鲁棒性，但在较低水平的动态噪声下则表现得更加糟糕。相比之下，少样本提示模型似乎对静态噪声也更加敏感。最后，我们讨论了我们的研究结果如何影响噪声过滤的最佳实践，并特别强调了去除包含具有全局误差的破坏性动态噪声的样本的重要性。
![arxiv：2303.09171v3 [CS.CV] 2024年1月31日](/simg/f\ff2103e46fc111d77d9c88fa924fb41c96cc989b.webp)
arxiv：2303.09171v3 [CS.CV] 2024年1月31日
最近，神经网络模型的解释引起了相当大的研究关注。在计算机Vi-Sion中，CAM（类激活图）基于基于cam的方法和LRP（层相关性传播）方法是两种common解释方法。但是，由于大多数基于CAM的方法只能产生全球权重，因此它们只能在深层进行粗粒的解释。LRP及其变体可以生成细粒度的解释。但是解释的忠诚太低了。为了应对这些挑战，在本文中，我们提出了FG-CAM（细粒度凸轮），该cam扩展了基于CAM的方法，以产生高粒度和高信仰。fg-cam使用具有分辨率差异的两个特征图层之间的关系，以逐渐增加解释分辨率，同时找到贡献的像素并滤除不贡献的像素。我们的方法不仅可以解决基于CAM的方法的短相处，而不会改变其特征，而且还产生了比LRP及其变体更高的忠诚度的细粒度解释。我们还以denoising呈现FG-CAM，这是FG-CAM的一种变体，能够产生较少的嘈杂解释，而忠实的解释几乎没有变化。实验结果表明，FG-CAM的性能几乎不受解释分辨率的影响。fg-cam在浅层和中间层中均显着优于基于CAM的方法，并且在输入层中均优于LRP及其变量。我们的代码可在https://github.com/dongmo-qcq/fg-cam上找到。
跟踪与 3D 中高度机动目标相关的 Frenet-Serret 框架
在雷达应用中，轨道维护是该过程的一个重要组成部分。从数学上讲，它可以归结为一个滤波问题，即必须从嘈杂的位置测量中滤除飞机的当前位置、速度以及可能的高阶导数。我们将此问题简称为“目标跟踪”。当飞机机动时，由于运动的不可预测性，该问题很难解决。在过去的四十年中，这一领域一直是广泛研究的对象，参见 [1]。跟踪的主要自由度是 1- 描述目标运动的动力学模型，以及 2- 使用的（统计）滤波器。对于动力学模型，有很多可能性，但线性模型通常用于工业应用，最著名的是 Singer 模型 [2]。对于滤波器，一种简单的稳健解决方案是 Castella 的噪声过程自适应卡尔曼滤波器 [3]。更现代的方法包括粒子滤波器 [4] 和用于跟踪的参考滤波器，即交互多模型 (IMM) 滤波器，参见 [1]。后者滤波器基于各种模型并行运行 (扩展) 卡尔曼滤波器组，并通过评估测量输出的可能性来评估每个模型的权重。这可以适应单个雷达可能面临的各种类型的目标和机动性程度。学术界现在主要转向多目标跟踪的挑战，并在视频中进行联合应用，参见 [5]。如今，雷达防空行业面临着新的挑战，目标的机动性越来越强。一些目标的速度可以达到 7 马赫，加速度为 15 g。通过运动模型注入一些结构的方法
使用生成对抗网络对脑电信号进行自动去噪
摘要：脑机接口（BCI）在各个领域有着广泛的应用。在基于脑电信号的研究中，信号去噪是必不可少的一步。本文提出了一种基于生成对抗网络（GAN）的去噪方法，对多通道脑电信号进行自动去噪。定义新的损失函数以确保滤波后的信号能够尽可能多地保留原始的有效信息和能量。该模型可以模仿和集成人工去噪方法，减少处理时间，因此可以用于大量数据处理。与其他神经网络去噪模型相比，所提出的模型多了一个判别器，它始终判断噪声是否被滤除。生成器则不断改变去噪方式。为了确保GAN模型稳定地生成脑电信号，提出了一种新的归一化方法，即基于样本熵阈值和能量阈值（SETET）归一化来检查异常信号并限制脑电信号的范围。去噪系统建立后，虽然去噪模型采用不同受试者的数据进行训练，但仍然能够适用于新受试者的数据去噪。本文讨论的实验采用HaLT公开数据集。相关性和均方根误差（RMSE）作为评价标准。结果表明，提出的自动GAN去噪网络达到了与手动混合人工去噪方法相同的性能。此外，GAN网络使去噪过程自动化，大大减少了时间。
性别平衡的语料库生成神经机器翻译
神经机器翻译模型再现其培训数据中存在的性别偏见，尤其是从性别中性语言（如英语）翻译成像西班牙语（如西班牙语）的语法性别语言时。本文通过将最先进的语言调整为性别平衡且合成生成的领域来调整性别偏见。我们的方法涉及使用以结构化提示为指导的大语言模型（LLM）的合成数据扩展，因为它对可扩展数据增强具有很大的好处。我们首先识别LLM和提示组合，该组合生成最准确，最少偏见的反事实句子。实验表明，当由更广泛的示例，逐步推理引导时，Llama 2-13B模型表现最好，并使用模型所需的相同语言来完成任务。使用此设置，我们增加了一个具有性别修饰句子的数据集，然后使用Lora来调整NLLB模型，Lora是一种参数效率的方法，仅训练模型参数的1.5％。我们的实验表明，在不影响翻译质量的情况下，性别偏差的统计学显着降低。较大的数据集结合了事实和合成反事实，并滤除低质量生成的示例有助于更有效地概括性别语言模式。这些结果具有更广泛的含义：首先，参数有效的微调可以以较小的计算成本减少性别偏见；其次，llm aigment的数据集可以匹配其他合成增强方法的有效性。
![arxiv：2406.17697v1 [cs.lg] 2024年6月25日](/simg/9\937f633fcdf4917da882b60dacd7de51eeac43e2.webp)
arxiv：2406.17697v1 [cs.lg] 2024年6月25日
摘要。药物靶标结合亲和力（DTA）是药物筛查的关键标准。现有的实验方法是耗时的，并且依赖有限的结构和域信息。虽然基于学习的方法可以对序列和结构信息进行建模，但它们很难整合上下文数据，并且通常缺乏对药物目标相互作用的全面建模。在这项研究中，我们提出了一种新型的DTA式词语方法，称为HGTDP-DTA，该方法在混合图形转换器框架内利用动态提示。我们的方法为每个药物目标对生成上下文特定的提示，从而增强了模型捕获独特相互作用的能力。提示引入的引入通过滤除无关的噪声并强调与任务相关的信息进一步优化预测过程，并动态调整分子图的输入特征。提出的混合图形变压器体系结构将图形卷积网络（GCN）的结构信息与变压器捕获的序列信息相结合，从而促进了全局和局部信息之间的相互作用。此外，我们采用了多视图特征融合方法将分子图视图和亲和力子图视图投射到一个共同的特征空间中，从而有效地结合了结构和上下文信息。在两个广泛使用的公共数据集（Davis and Kiba）上进行的实验表明，HGTDP-DTA在预测性能和泛化能力中的最先进的DTA预测方法优于最先进的DTA预测方法。
使用可穿戴隧道进行眼睑手势控制...
摘要 — 物联网系统使日常技术比以往任何时候都更加数字化，残疾人可能会感到被排斥在外。眼球运动/眨眼等免提手势方法可以增强与现代技术的互动。这项工作展示了通过眨眼进行眼睑手势控制，使用可穿戴磁系统，该系统由眼睑上的柔性磁条和带有模拟前端电路的自旋电子磁传感器组成。为了检测眨眼，将灵敏度为 11mV/V/Oe 的隧道磁阻 (TMR) 传感器嵌入眼镜框中。为了成功检测眼睑上直径 6 毫米、厚度 1 毫米的磁条产生的小磁场，设计了一个传感器读出电路来放大收集到的信号并消除外部噪声和偏移。该电路能够滤波 <0.5 Hz 的低频和直流偏移。高于 >28 Hz 的高频会被滤除磁场和眼睑运动噪声。每个 TMR 传感器电路都配备有固定增益放大器，用于检测毫米级磁条的低磁场。眨眼可以在设定的时间范围内重复，并且由于会检测到双眼睑，因此可以使用多种命令组合进行分类。基于磁场模拟结果，该电路经过了模拟，并显示出高重复性和稳定性，可以根据幅度阈值对眨眼进行分类。因此，可以在蓝牙微控制器上缩放和分类信号，该微控制器能够连接到各种支持蓝牙的设备，以便残疾人士与外部技术进行通信。
by-slam：基于台面和语义信息提取的动态视觉大满贯系统
摘要：SLAM是一种至关重要的技术，用于实现无人车辆的自主导航和定位。传统的视觉同时本地化和映射算法建立在静态场景的假设上，从而忽略了动态目标在现实世界环境中的影响。来自动态目标的干扰可以显着降低系统的定位精度，甚至导致跟踪故障。为了解决这些问题，我们提出了一个名为S-Slam的动态视觉大满贯系统，该系统基于“同样和语义信息提取”。最初，引入了词汇描述符来描述定向的快速特征点，从而提高了特征点匹配的精度和速度。随后，fasternet替换了Yolov8的骨干网络以加快语义信息提取。通过使用DBSCAN聚类对象检测的结果，获得了更精致的语义掩码。最后，通过利用语义面膜和表现约束，可以辨别和消除动态特征点，从而仅利用仅利用静态特征点进行姿势估计，并构建了不包括动态目标的密集3D地图。在TUM RGB-D数据集和现实世界情景上进行了实验评估，并证明了拟议算法在滤除场景中的动态目标方面的有效性。与Orb-Slam3相比，TUM RGB-D数据集的本地化准确性提高了95.53％。针对经典动态大满贯系统的比较分析进一步证实了通过lam的定位准确性，地图可读性和鲁棒性的提高。
使用多阶段 Attention-GAN 进行高组织对比度 MRI 合成以进行胶质瘤分割
磁共振成像 (MRI) 基于强磁场提供内脏器官的不同组织对比度图像。尽管 MRI 在频繁成像方面具有非侵入性优势，但目标区域中的低对比度 MRI 图像使组织分割成为一个具有挑战性的问题。本文展示了图像到图像转换技术生成合成高组织对比度 (HTC) 图像的潜在优势。值得注意的是，我们采用了一种具有注意机制的新型循环生成对抗网络 (CycleGAN) 来增加底层组织内的对比度。注意力模块以及对 HTC 图像的训练引导我们的模型收敛到某些组织。为了提高 HTC 图像的分辨率，我们采用多阶段架构将焦点集中在一种特定组织作为前景，并在每个阶段滤除不相关的背景。这种多阶段结构还通过减小源域和目标域之间的差距来减轻合成图像的常见伪影。我们展示了我们的方法在脑部 MRI 扫描（包括胶质瘤）中合成 HTC 图像的应用。我们还在端到端和两阶段分割结构中使用 HTC MRI 图像来确认这些图像的有效性。在 BraTS 2018 数据集上对三个竞争性分割基线进行的实验表明，将合成的 HTC 图像纳入多模态分割框架中可分别将整个肿瘤、肿瘤核心和增强肿瘤的平均 Dice 得分提高 0.8%、0.6% 和 0.5%，同时从分割过程中消除了一个真实的 MRI 序列。
地磁传感器地面校准技术研究
地磁场是地球的基本物理场，具有全天时、全天候、全区域等特点。因此地磁场具有丰富的参数信息。其中，地磁总场、地磁三分量、磁倾角、磁偏角、地磁梯度可用于磁导航[1]。地磁传感器具有体积小、成本低、精度高等优点。此外，地磁传感器还具有很强的抗冲击或过载能力。因此地磁传感器在商业和军事领域得到了广泛的应用。本文的目的是对地磁传感器进行校准和补偿，并最终通过校准后的地磁信息实现地磁导航[2]。现有的地面校准算法包括：1）椭球拟合法，该方法基于一个假设。即在磁传感器测量误差的影响下，磁场测量轨迹可以近似为一条椭圆轨迹。最小二乘椭球拟合法算法的本质是寻找一组椭圆参数，使得测量数据与拟合数据之间的距离在某种意义上最小化。该方法的优点是计算方便，但是对于三轴磁传感器的补偿效果有限[3]。2）磁变校准法，该方法试图计算旋转、拉伸和平移因子，将椭球轨迹校正为圆轨迹。然后利用该模型滤除异常信号。该方法同样易于实现，但补偿标定的精度也有限[4]。3）卡尔曼滤波法。卡尔曼滤波是一种常见的线性系统参数估计方法。可以采用扩展卡尔曼滤波（EKF）和无迹卡尔曼滤波（UKF）进行补偿。