XiaoMi-AI文件搜索系统
World File Search System权重
脑肿瘤分类联邦学习环境中聚合模型的权重共享优化
正确的肿瘤分类将极大地帮助脑肿瘤的临床诊断和治疗。如果放射科医生使用深度学习帮助专家和医生检查大量的脑部 MRI 图像，则可以更快、更准确地诊断出脑肿瘤。训练过程需要大量数据集，并且必须将所有这些数据集中起来才能通过此类技术进行处理。由于医疗数据隐私法规，有时无法在集中式数据服务器上收集和分发患者数据。本文提出了联邦学习（FL），由于患者隐私问题，数据不可共享。使用 FL 方法，我们提出了两种聚合方法：第一种涉及对每个客户端的权重百分比进行排名；第二种是平均权重法。为了评估建议的模型，除了 SVM 和 VGG-16 之外，我们还比较了排名权重百分比方法与 FL 环境中提出的 CNN 和预训练（VGG-16）的平均权重的性能。实验结果应用于两个数据集，结果表明我们的模型准确率结果在使用排序权重百分比法时与其他方法相比非常有效，在数据集 (BT_large-1c) 上达到了准确率 (98%)，在数据集 (BT-large-2c) 上达到了准确率 (97.14%)。
组合脑外科医生：修剪神经网络中相互抵消的权重
如果神经网络规模较大，则往往在训练时获得更高的准确度，即使生成的模型参数过多。但是，在训练之前、之中或之后小心地删除过多的参数，也可能产生准确度相似甚至更高的模型。在许多情况下，这可以通过简单的启发式方法实现，例如删除一定比例的绝对值最小的权重，即使绝对值并不是权重相关性的完美指标。在获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响这一前提下，我们重新审视了基于影响的剪枝的经典方法之一：最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展，其中我们选择要同时删除的权重，并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法，如果在这些方法之后应用单次权重更新，也会很有优势。源代码：github.com/yuxwind/CBS。
修剪神经网络中相互抵消的权重
如果神经网络规模较大，则往往在训练时获得更高的准确度，即使生成的模型参数过多。但是，在训练之前、之中或之后小心地删除过多的参数，也可能产生准确度相似甚至更高的模型。在许多情况下，这可以通过简单的启发式方法实现，例如删除一定比例的绝对值最小的权重，即使绝对值并不是权重相关性的完美指标。在获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响这一前提下，我们重新审视了基于影响的剪枝的经典方法之一：最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展，其中我们选择要同时删除的权重，并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法，如果在这些方法之后应用单次权重更新，也会很有优势。源代码：github.com/yuxwind/CBS。
光遗传学白噪声刺激揭示的 V1 脉冲感知权重
在视觉引导的行为过程中，感觉输入和其相关的行为反应之间可能只相隔数百毫秒。不同时间发生的脉冲如何整合以驱动感知和行动仍不清楚。我们提供了随机的光遗传刺激序列（白噪声）来激发雌雄小鼠 V1 中的抑制性中间神经元，同时让它们执行视觉检测任务。然后，我们对光遗传刺激进行了反向相关分析，以生成神经元行为内核，这是一个无偏、时间精确的估计，用于估计在视觉刺激开始前后不同时刻抑制 V1 脉冲如何影响对该刺激的检测。电生理记录使我们能够捕捉到光遗传刺激对 V1 响应性的影响，并揭示了最早的刺激诱发的脉冲在引导行为方面具有优先权重。这些数据证明，白噪声光遗传学刺激是理解如何解码神经元群体中的脉冲模式以产生感知和动作的有力工具。
每次试验使用单一权重的脑电图稳健统计线性建模
美国） - Arnaud Delorme（加州大学圣地亚哥分校斯沃茨计算神经科学中心；法国图卢兹图卢兹第三大学保罗萨巴蒂尔大脑与认知研究中心；国家科学研究中心
DD 表格 2711-1，“监护权重新分类”
隐私咨询 披露此信息是自愿的，将用于记录有关囚犯监护分类变化的信息和决定。有关更多信息，请参阅记录系统通知、A0190-47 DAPM-ACC、“陆军惩教系统和假释委员会记录”、NM01650-1、“个人监禁记录”和 F031 AF SF A、“惩教和康复记录”，发布于 https://dpcld.defense.gov/Privacy/SORNs /。填写完成后，此表格包含个人身份信息，并受 1974 年隐私法（经修订）保护。
形状依赖的多权重磁性人工突触
在神经形态计算中，人工突触提供多权重电导状态，该状态基于来自神经元的输入而设置，类似于大脑。除了多个权重之外，突触还可能需要其他属性，并且可能取决于应用，这需要从相同的材料中生成不同的突触行为。在这里，我们测量基于磁性材料的人工突触，这些磁性材料使用磁隧道结和磁畴壁。通过在单个磁隧道结下方的畴壁轨道中制造光刻凹口，我们实现了 4-5 个稳定的电阻状态，这些状态可以使用自旋轨道扭矩进行重复电控制。我们分析了几何形状对突触行为的影响，结果表明梯形设备具有非对称权重更新和高可控性，而直线设备具有更高的随机性，但具有稳定的电阻水平。设备数据被输入到神经形态计算模拟器中，以显示特定于应用的突触功能的实用性。通过实施应用于流式 Fashion-MNIST 数据的人工神经网络，我们表明梯形磁突触可用作高效在线学习的元生函数。通过实施用于 CIFAR-100 图像识别的卷积神经网络，我们表明直磁突触由于其阻力水平的稳定性而实现了近乎理想的推理精度。这项工作表明多权重磁突触是一种可行的神经形态计算技术，并为新兴的人工突触技术提供了设计指南。
研究文章转移具有输出权重对准的极限学习机
极限学习机（ELM）是模式识别和机器学习中的快速且有效的神经网络模型，当标记的训练样本不足以使其下降。转移学习通过使用不同但相关域中的大量标记样本来帮助目标任务学习可靠的模型。在本文中，我们提出了一台具有知识传递性的监督极限学习机器，称为“转移极限学习机器”，具有输出权重对齐（telm-Owa）。首先，它通过对齐由来自源和目标域标记的样品训练的ELM的输出权重矩阵来减少域之间的分布差异。其次，将域间ELM输出权重矩阵之间的近似值添加到目标函数中，以进一步实现知识的跨域转移。tirdly，我们将目标函数视为最小平方问题，并将其转换为标准的ELM模型，以便有效地解决。最后，通过对16组图像数据集和6组文本数据集进行了分类实验对所提出算法的效果进行了验证，结果证明了我们方法相对于其他ELM模型和转移学习方法的竞争性能。
最大权重策略的波动界限及其在状态空间崩溃中的应用
降低分析复杂性的常用方法是流体近似，也称为流体模型。流体模型依赖于两个简化，从而可以用一组微分方程来描述（参见第 2.3 节）：（a）动态在连续时间（而不是离散时间）中演变；（b）到达过程被具有相同平均值的恒定流所取代。流体模型是处理离散时间网络的通用技术的基础：用流体解近似队列长度，然后分析流体模型。该方法已被证明在 MW 动力学研究中非常有用，并产生了关于稳定性（Dai 和 Prabhakar 2000 、Andrews 等人 2004 ）、SSC（Stolyar 2004 ；Dai 和 Lin 2005 ；Shah 和 Wischik 2006 、2012 ）和重尾到达下的延迟稳定性（Markakis 等人 2016 、2018 ）的结果。这些结果背后的一个关键因素是理解流体解近似原始队列长度过程的准确性；本文有助于理解这一点。
通过乘法权重学习组合函数......
组合性是生物和人工神经网络的基本结构特征。通过梯度下降学习组合函数会产生众所周知的问题，例如梯度消失和梯度爆炸，因此仔细调整学习率对于实际应用至关重要。本文证明乘法权重更新满足针对组合函数定制的下降引理。基于此引理，我们推导出 Madam（Adam 优化器的乘法版本），并表明它可以在不调整学习率的情况下训练最先进的神经网络架构。我们进一步表明，通过在对数系统中表示权重，Madam 很容易适应训练原生压缩神经网络。最后，我们总结了乘法权重更新与生物学中关于突触的最新发现之间的联系。