XiaoMi-AI文件搜索系统
World File Search SystemVolutional
潜在平衡：任意的统一学习理论...
物理计算元素的响应时间是有限的，神经元也不例外。在皮质网络的分层模型中，每层都引入了响应滞后。物理动力学系统的这种固有属性导致刺激的处理延迟，并导致网络输出和启发性信号之间的时机不匹配，因此不仅会推断，而且还可以学习。我们引入了潜在平衡，这是一个慢速组件网络中推断和学习的新框架，通过利用生物神经元的能力来避免这些问题，以相对于其内存潜力进行输出。该原理可以独立于网络深度，可以实现准稳定推断，并避免需要分阶段可塑性或计算昂贵的网络松弛阶段。我们从依赖网络的广义位置和动量的前瞻性能量函数中共同得出脱离神经元和突触动力学。所得模型可以解释为具有连续时间，泄漏的神经元动力学和连续的局部局部可塑性的深层皮质网络中误差反向传播的误差。我们展示了对标准基准数据集的成功学习，并使用完全连接和连接的体系结构来实现竞争性能，并展示了如何将我们的原理应用于皮质微电路的详细模型。此外，我们研究了模型对时空底物缺陷的鲁棒性，以证明其在体内或在硅中的物理实现的可行性。§
使用带有卷积神经网络的量子电路进行肺炎检测⋆
摘要。图像分类已成为机器学习方法中最重要的领域之一。人脸识别、物体检测、无人驾驶汽车或机器人以及疾病识别都是已经产生影响的领域。将卷积神经网络 (CNN) 层引入图像分类和物体检测也带来了实质性的改进。使用低维滑动核，CNN 能够毫不费力地从图像中提取特征。当将量子电路（量子计算的基本元素）添加到此内核时，它会变得非常复杂，经典上难以处理的内核。量子电路和 CNN 的这种混合组合可用于早期检测肺炎，这是在疾病损害感染者肺部之前治愈疾病的重要步骤。在本文中，我们提出了一种混合 CNN 模型，该模型基于 CNN 模型架构，并在胸部 X 光片图像上实施量子电路以诊断肺炎疾病。我们使用来自公共存储库的数据，其中包含超过 5K 张图像，在分类环境中应用了经典和量子算法。我们的结果表明，将量子电路与经典 CNN 结合使用后，其性能显著提高，准确率更高。该模型在检测肺炎方面的表现表明，所提出的基于量子卷积神经网络的模型在实践中可以有效地对规则和不规则的 X 射线图像进行分类。
gl-icnn：端到端解释的卷积...
摘要 - 基于卷积神经网络（CNN）的深度学习方法显示，基于成像数据，基于成像数据的痴呆症的早期和准确诊断的早期和准确诊断都很大。但是，这些方法尚未在临床实践中被广泛采用，这可能是由于深度学习模型的解释性有限。可解释的提升机（EBM）是玻璃框模型，但无法直接从输入成像数据中学习功能。在这项研究中，我们提出了一个可解释的新型模型，该模型结合了CNN和EBM，以诊断和预测AD。我们制定了一种创新的培训策略，该策略将CNN组件作为功能提取器和EBM组件作为输出块而交替训练CNN组件，以形成端到端模型。该模型将成像数据作为输入，并提供预测和可解释的特征重要性度量。我们验证了有关阿尔茨海默氏病神经影像学计划（ADNI）数据集的拟议模型，以及Health-Ri Parelsnoer神经疾病生成疾病生物库（PND）作为外部测试集。所提出的模型以AD和对照分类为0.956的面积为0.956，预测轻度认知障碍（MCI）在ADNI队列上进行AD的预测为0.694。所提出的模型是与其他最先进的黑盒模型相当的玻璃盒模型。我们的代码可在以下网址提供：https：//anonymon.4open.science/r/gl-icnn。索引术语 - Alzheimer氏病，MRI，深度学习，转换神经网络，可解释的提升机器，明显的人工智能
![arxiv：2408.02895v3 [gr-qc] 2024年11月26日](/simg/0\03278bbeb268bdffe86ce1e90256d97f79b99c6c.webp)
arxiv：2408.02895v3 [gr-qc] 2024年11月26日
图1显示了一组模拟的旋转恒星核心偏转重力波信号。每个信号平均为4个。633×10 - 3秒（带有standard偏差5。306×10 - 5）使用Apple M2芯片与金属性能着色器（MPS）框架生成。这些信号是我们的生成深度学习产生的，特别是深层结构生成的对抗网络（DCGAN）[2，3]。使用Richers等人对DCGAN进行了训练。[1]旋转恒星 - 循环波形波形猫猫，并占587。1秒钟在同一处理器上训练。可以将预先训练的DCGAN视为一种现象学模型，用于旋转核心塌陷引力波，模仿旋转恒星核心核心 - 循环引力信号的关键效果，表现出倒塌，弹跳，弹跳和早期的弹跳后和早期原proto Proto Proto-Proto-Proto-Proto-newutron Star的振动。来自银河系核偏转超新星的重力波应该使用电流降压器观察[6]。然而，在基于地球的GW探测器网络，Advanced Ligo [7]，Advanced Pirgo [8]和Kagra [9] [10]之后，尚未观察到来自Stellar Core Comlapse的重力波[10]之后，尚未尚未观察到三个完整的观察跑（O1 – O3）和一个部分观察跑步（O4）。来自恒星核心偏转的重力波随附有关核心折叠动力学，爆炸机制，原始恒星的演变，旋转速率和核方程式的信息[6]，可直接探究折叠式折叠的核心。出色的核心 - 循环引力波信号很难建模，连接引力，核，粒子，统计和数值物理学[11]和
SAG-GAN：用于医学图像数据增强的半监督注意力引导 GAN
摘要 — 最近，深度学习方法，特别是卷积神经网络 (CNN)，在计算机视觉领域取得了巨大突破。此外，大规模注释数据集是成功训练过程的关键。然而，在医学领域获取这样的数据集是一个巨大的挑战。为此，我们提出了一种使用循环一致性生成对抗网络 (GAN) 生成合成医学图像的数据增强方法。我们添加半监督注意模块来生成具有令人信服的细节的图像。我们将肿瘤图像和正常图像视为两个领域。所提出的基于 GAN 的模型可以从正常图像生成肿瘤图像，反过来，它也可以从肿瘤图像生成正常图像。此外，我们表明生成的医学图像可用于提高 ResNet18 在医学图像分类中的性能。我们的模型应用于三个有限的肿瘤 MRI 图像数据集。我们首先在有限的数据集上生成 MRI 图像，然后训练三种流行的分类模型以获得最佳的肿瘤分类模型。最后，我们使用经典的数据增强方法使用真实图像训练分类模型，使用合成图像训练分类模型。这些训练模型之间的分类结果表明，与经典的数据增强方法相比，所提出的 SAG-GAN 数据增强方法可以提高准确率和 AUC。我们相信所提出的数据增强方法可以应用于其他医学图像领域，并提高计算机辅助诊断的准确性。索引词——生成对抗网络 (GAN)、数据增强、注意模块、医学图像处理
分布式 AI 任务的即时通信
1 简介 人工智能领域的最新进展由 ChatGPT [ 18 ] 和 SORA [ 19 ] 等大型模型推动，带来了巨大的计算挑战。扩展这些模型通常需要多 GPU 或多节点系统 [ 2 , 14 ]，利用张量并行等并行策略 [ 25 ] 来处理计算负载。例如，Llama 3.1-405B 模型训练使用了 16,000 个 H100 GPU [ 16 ]。然而，分布式计算引入了通信作为主要瓶颈，占执行时间的 80%，如 Llama 2-7B 模型所示 [ 1 ]。如 [ 3 ] 所示，将 Llama 2-13B [ 27 ] 训练从 8 个 GPU 扩展到 1,024 个 GPU 会因通信开销而将模型 FLOP 利用率 (MFU) 从 47% 大幅降低至 4%。这凸显了一个关键问题：尽管硬件功能有所进步，但由于引入了通信开销，硬件（尤其是 GPU）往往未得到充分利用。为了提高 MFU，先前的研究探索了通过通信 [ 20 、 22 、 28 、 30 ] 或数据加载 [ 9 ] 来提高硬件利用率的潜力。然而，这些策略主要侧重于重叠计算运算符和独立通信运算符。如果存在依赖关系（例如在推理阶段），则计算和通信都位于关键路径上，运算符间重叠是不可行的。认识到这一机会，我们引入了 DistFuse，这是一个即使在存在依赖关系的情况下也能促进细粒度重叠的系统。DistFuse 的核心旨在协调计算和通信，这样 GPU 就可以在部分数据准备就绪时立即启动通信，而不是等待整个数据。我们进行了一项概念验证实验，通过在单个节点上将 DistFuse 与 Llama 3-70B 的推理相结合来展示性能提升，该节点可以隐藏高达 44.3% 的通信延迟。我们目前的原型专注于 LLM 任务，但即时通信的核心概念是多功能的，可以应用于其他场景，例如卷积模型。鉴于数据中心中大型模型工作负载的日益普及以及对高效通信的需求不断增长，我们预计通过我们的技术将显着提高性能。此外，我们