XiaoMi-AI文件搜索系统
World File Search SystemSoftmax
对深神经网络的近似软函数的定量评估
摘要 - 软马克斯函数用作放置在神经网络输出层中的激活函数。它允许提取输出类的概率，同时向模型引入非线性。在低端FPGA领域，深神经网络（DNN）的实现需要探索优化技术，以提高计算效率和硬件资源消耗。这项工作探讨了使用Taylor和Pad'E近似方法以及带有查找表（LUTS）的插值方法来促进软效果的近似计算技术。引入近似值旨在减少所需的执行时间，同时降低SoftMax函数产生的结果的精度。使用均方根误差（RMSE）评估每个实现，以进行准确评估，并通过测量执行时间来验证个人绩效。从我们的评估中，使用LUTS的二次插值实现了最低的错误，但是在性能方面，泰勒和垫子近似显示了更好的执行时间，这突出了数值准确性和功耗之间的现有设计权衡。索引项 - 评估计算，高级合成，推理算法，神经网络压缩，多层感知器。
使用 Softmax- 进行临床分布外检测...
摘要。在医学图像分析中，需要一个可靠的模型来检测包含重要解剖信息的输入并据此做出准确的决策。受此启发，我们引入了“临床分布外”（OCD）检测的概念，其中临床分布内数据（ICD）被定义为包含对临床决策至关重要的“临床感兴趣区域”的图像。我们提出了一个基于分类模型的 OCD 检测框架，并通过一种新颖的 softmax 条件变分自动编码器正则器进行增强。在该框架中，softmax 分数被合并到潜在空间中，并以可学习的类条件高斯分布作为先验。通过在特征重建中嵌入类信息，该方法加强了 ICD 类别内的特征紧凑性并增强了 ICD 和 OCD 特征之间的可分离性。所提出的 OCD 检测方法的有效性在从实时胎儿超声（US）视频中选择解剖视图的任务中得到了证明，其性能明显优于最先进的基于分类和基于生成的方法。
生物 Softmax：在现代 Hopfield 网络中得到证明
现代 Hopfield 网络 (HN) 表现出内容可寻址存储器 (CAM) 的特性，可以存储和检索大量记忆。它们还为人类的联想记忆建模提供了基础。然而，这些网络的实现通常在生物学上是不合理的，因为它们假设突触连接的强度是对称的，并使用依赖于多体突触的功能。已经提出了更具生物学现实性的现代 HN 版本，尽管这些实现通常仍使用软最大值函数。计算单个节点的软最大值需要了解所有其他神经元，因此仍然具有一定程度的生物学不合理性。我们提出了一种现代 HN，它使用可以以更符合生物现实的方式计算的 softmax 版本，因此使我们更接近生物学上合理的记忆模型。我们还表明，我们提出的网络可以使用局部学习规则来学习连接权重，该规则源自能量函数的梯度下降。最后，我们验证了我们提出的生物网络的行为类似于现代 HN，并探索了它的其他一些有趣的特性。