XiaoMi-AI文件搜索系统
World File Search System反向传播
对称硅微孔谐振器光学横杆阵列，用于加速的推理和训练
摘要：光子综合电路正在成为一个有前途的平台，用于加速深度学习中的矩阵乘法，利用光的固有平行性质。尽管已经提出并证明了各种方案是为了实现这种光子矩阵加速器，但由于在光子芯片上直接芯片后反向传播的困难，使用光子加速器对人工神经网络的原位培训仍然具有挑战性。在这项工作中，我们提出了一个具有对称结构的硅微孔谐振器（MRR）光学横杆阵列，该横梁允许简单的芯片反向传播，有可能使深度学习的推理和训练阶段加速。我们在Si-On-On-On-On-On-On-On-On-On-On平台上演示了一个4×4电路，并使用它来执行简单神经网络的推理任务，用于对虹膜花进行分类，从而达到了93.3％的分类精度。随后，我们使用模拟的芯片反向传播训练神经网络，并在训练后同一推理任务中达到91.1％的精度。此外，我们使用9×9 MRR横梁阵列模拟了卷积神经网络（CNN）进行手写数字识别，以执行卷积操作。这项工作有助于实现紧凑和节能的光子加速器进行深度学习。
梯度的真正稀疏和通用实现......
摘要 — 从梯度下降中得出的在线突触可塑性规则在广泛的实际任务中实现了高精度。然而，它们的软件实现通常需要繁琐的手工梯度或使用梯度反向传播，这牺牲了规则的在线能力。在这项工作中，我们提出了一种自定义自动微分 (AD) 管道，用于稀疏和在线实现基于梯度的突触可塑性规则，该管道可推广到任意神经元模型。我们的工作结合了前向 AD 的反向传播类型方法的编程简易性，同时节省了内存。为了实现这一点，我们利用在线突触可塑性的优势计算和内存扩展，提供一种固有稀疏的 AD 实现，其中如果张量是对角的，则昂贵的张量收缩被简单的元素乘法取代。基于梯度的突触可塑性规则（如资格传播 (e-prop)）恰好具有这种特性，因此从这一特性中获益匪浅。我们在合成任务中展示了梯度反向传播与梯度对齐，其中 e-prop 梯度是精确的，以及音频语音分类基准。我们展示了内存利用率如何随网络规模而变化，而不依赖于序列长度，这与前向 AD 方法的预期一致。索引术语 — 算法、神经形态计算、资格传播、自动微分
医学图像分割的实时测试时间自适应
在测试时将源模型调整到目标数据分布是解决数据移位问题的有效方法。以前的方法通过使用熵最小化或正则化等技术使模型适应目标分布来解决此问题。在这些方法中，模型仍然通过对完整测试数据分布使用无监督损失的反向传播进行更新。在现实世界的临床环境中，由于隐私问题和部署时缺乏计算资源，动态地将模型调整到新的测试图像并避免在推理过程中更新模型更有意义。为此，我们提出了一种新的设置 - 动态自适应，它是零样本和偶发的（即，模型一次适应单个图像，并且在测试时不执行任何反向传播）。为了实现这一点，我们提出了一个名为 Adaptive UNet 的新框架，其中每个卷积块都配备了一个自适应批量归一化层，以根据域代码调整特征。域代码是使用专门针对医学图像进行训练的域先验生成器生成的。在测试时，模型仅接收新的测试图像并生成域代码以根据测试数据实例调整源模型的特征。我们验证了 2D 和 3D 数据分布偏移的性能，与以前的测试时自适应方法相比，我们在测试时不执行反向传播的情况下获得了更好的性能。关键词：测试时自适应、医学图像分割。
一种预测心脏病的新方法：机器学习技术
抽象的心脏病和机器学习是两个不同的词，其中一个与医学领域有关，另一个与人工智能有关。在医疗中，大多数人都面临着心脏病的问题，机器学习正在发展计算机科学领域。心脏病被称为心脏病，它提供了更多的数据或信息，应收集它以提供患者的报告，并且机器学习还需要用于预测和解决问题的数据。机器学习技术用于预测心脏病的预测，在这种预测中，它以更少的计算时间和更高的准确性来促进其健康。心脏病预测需要大量的数据来预测，在云计算中，我们也有更多数据，并且在云中可用的数据很难分析。因此，我们使用机器学习算法或技术来预测心脏病，并且以相似的方式应用了这些算法或技术来预测或分析云中可用的数据。在本文中，我们将使用称为Backpropagation算法的机器学习算法，后来我们以后使用优化算法。反向传播算法涉及人工神经网络。反向传播是一种方法，用于计算一批数据后每个神经元的误差贡献（在图像识别，多个图像中）。这是由包围优化算法使用的，以调整每个神经元的重量，从而完成该情况的学习过程。机器学习算法和技术用于识别人类风险问题的强度，它可以帮助患者采取安全措施，以挽救患者的生命。关键字：机器学习，云计算，心脏，反向传播，优化
从马尔的愿景到人类智能问题
先前的论点意味着，在物体识别方面表现良好的网络本身并不是解决视觉皮层如何工作的问题的解决方案，尽管它们可能会有所帮助。神经科学的最新趋势是将视觉皮层中神经元的活动与使用反向传播训练的 RELU 网络（例如 AlexNet）中单元的活动相匹配。在这个优化过程中报告的合理一致性令人鼓舞，但在声称这些网络可能导致皮层可信模型之前还有很长的路要走。我们需要澄清 RELU 非线性的生物物理相关性是什么，它们在视觉皮层中的位置，权重在哪里，它们是如何修改的，以及脉冲神经元的活动如何映射到当今深度网络的静态单元中。更重要的是，反向传播和标记数据的批量学习几乎肯定在生物学上是不可信的。因此，我们需要用基于已知生物物理学的在线学习规则取代梯度下降
调整输入到隐藏的连接权重
下一步，我们要计算平方误差和对输入到隐藏权重的依赖关系。这次计算与上一次计算的主要区别在于，之前当我们对平方误差和 (SSE) 对特定隐藏到输出连接权重 vh,o 的依赖关系感兴趣时，我们只需要考虑输出节点 O o 处的平方误差。其他输出节点不会影响 SSE 对此输出节点的依赖关系。相反，这一次，当我们想要考虑 SSE 对给定输入到隐藏连接权重 wi,h 的依赖关系时，我们现在必须考虑每个输出节点的平方误差的影响。这是因为输入到隐藏连接权重 wi,h 影响隐藏节点 H h 的激活（结果输出）。但是，这个隐藏节点的激活会影响所有输出节点。因此，我们需要考虑所有输出节点的 SSE，以及它们对 H h 的反向传播影响，以及从该隐藏节点到 wi,h 的反向传播影响。如图 7.1 所示。因此，我们希望
机器学习 - 二楼实验室 - DCSE
4.2.4 顺序和批量训练 82 4.2.5 局部最小值 82 4.2.6 拾取动量 84 4.2.7 小批量和随机梯度下降 85 4.2.8 其他改进 85 4.3 实践中的多层感知器 85 4.3.1 训练数据量 86 4.3.2 隐藏层的数量 86 4.3.3 何时停止学习 88 4.4 使用 MLP 的示例 89 4.4.1 回归问题 89 4.4.2 使用 MLP 进行分类 92 4.4.3 分类示例：鸢尾花数据集 93 4.4.4 时间序列预测 95 4.4.5 数据压缩：自联想网络 97 4.5 使用 MLP 的秘诀 100 4.6 推导反向传播 101 4.6.1 网络输出和误差 101 4.6.2 网络误差 102 4.6.3 激活函数的要求 103 4.6.4 误差的反向传播 104 4.6.5 输出激活函数 107 4.6.6 另一种误差函数 108 进一步阅读 108 练习题 109
用于神经形态部署的二进制通信网络中的超参数优化
摘要 — 训练神经网络以用于神经形态部署并非易事。已经提出了多种方法来调整适合训练的反向传播或类似反向传播的算法。考虑到这些网络通常具有与传统神经网络非常不同的性能特征，因此通常不清楚如何设置网络拓扑或超参数以实现最佳性能。在这项工作中，我们引入了一种贝叶斯方法来优化用于训练可部署到神经形态硬件的二进制通信网络的算法的超参数。我们表明，通过针对每个数据集优化此算法的超参数，我们可以在每个数据集上实现此算法比以前最先进的准确度的提高（高达 15%）。这种性能飞跃继续强调将传统神经网络转换为适用于神经形态硬件的二进制通信时的潜力。索引术语 — 超参数优化、神经网络、贝叶斯优化、神经形态
轨迹流与临床时间序列建模应用的轨迹流匹配
对随机和不规则抽样的时间序列进行建模是在广泛的应用中发现的一个具有挑战性的问题，尤其是在医学中。神经随机微分方程（神经SDE）是针对此问题的有吸引力的建模技术，它可以将SDE的漂移和扩散项与神经网络相关。但是，当前用于训练神经SDE的算法需要通过SDE动力学进行反向传播，从而极大地限制了它们的可扩展性和稳定性。为了解决这个问题，我们提出了轨迹流匹配（TFM），该轨迹以无模拟方式训练神经SDE，通过动力学绕过反向传播。TFM利用从生成建模到模型时间序列的流量匹配技术。在这项工作中，我们首先为TFM学习时间序列数据建立必要条件。接下来，我们提出了一个改善训练稳定性的重新聚集技巧。最后，我们将TFM适应了临床时间序列设置，从绝对性能和不确定性预测方面，在四个临床时间序列数据集上的性能提高了，这是在这种情况下的关键参数。