XiaoMi-AI文件搜索系统
World File Search Systemsoftmax
![arxiv：2402.06388v3 [stat.ml] 2024年11月26日](/simg/g:\will\search\icon\source\0\0497daa7f8bb1ff276891ab46c122c200ba16870.webp)
arxiv：2402.06388v3 [stat.ml] 2024年11月26日
策略梯度算法对在执行学习中的应用显示出了令人印象深刻的结果，但长期以来，人们已经认识到，一些更正是为了改善收敛性；实施此类更正的几个众所周知的程序是对数势垒进行加强算法[23]，信任区域策略优化TRPO [16]和近端策略优化（PPO，OpenAI的默认默认依据重新启动学习算法）；所有人都使用正规化形式，即所有人都试图通过各种方法限制和控制策略更新。在这种一般环境中，我们将在此关注不同类型的正则化，并最具体地谈论多武装匪徒。虽然策略梯度算法显示出有趣的数值性能，但对MAB收敛的理论研究直到最近才见证了重要的进步。在[8]中证明，随机梯度程序对于线性二次调节器的一般情况而言，而Agarwal等人则具有很高的可能性。在Markov Prosess的一般框架下给出了[2]的理论结果，并在不同的策略参数中特别证明了收敛性；在我们在此处分析的软马克斯参数化的特定情况下，它们检查了三种解决此问题的算法。最初的方法涉及在目标上直接的策略梯度下降而没有改变。第二种方法 - 企业熵正规化，以防止参数过度生长，从而确保足够的探索。最后，他们研究了自然政策差异算法，并证明了与分配不匹配系数或特定维度特定因素无关的全球最佳结果。回想一下，相比之下，我们在这里研究了使用L 2正则化的SoftMax参数化。在几个月前（在写作时）在线发表的一篇最近的论文[4]中，J。Bhandari和D. Russo讨论了SoftMax参数化，但重点介绍（我们引用）“理想化的政策梯度更新，并访问了确切的梯度评估”。是一个区别，我们将在这里重点放在非脱颖而出的梯度上（这是实施的梯度），但以更强的假设为代价。然而，在另一项最先进的研究[11]中，作者做出了三项贡献。首先，他们确定，当启用真实梯度（即没有随机性）时，具有软磁性参数化的策略梯度以O（1 /T）的速率收敛。然后，他们检查了熵登记的策略梯度，并证明其加速收敛速率。最后，通过整合上述结果，它们描述了熵正规化增强策略优化的机制。最后，其他一些相关的作品包括[21]，更具体地研究了使用深神经网络时的现场，而[24]通过使用新的变体进行了折现因子来研究蒙特卡洛估计的随机推出的新变体。
成为贝叶斯人在在线保形预测中的重要性
1一个示例是分类，其中得分函数通常是每个候选标签的SoftMax得分（r = 1）。它是积极的定向：较大意味着模型更确定候选标签是真实的标签。对于回归，更常见的是使用负面的分数函数，这意味着等式中的不平等。（1）被逆转。2这个扩展的摘要着重于边缘CP。更一般地，CP算法可以预测R t（X t，α）。
使用机器的混合塑料废物在线表征
图4。塑料网的建筑。塑料网络输入975矢量并输出预测的塑料类型。它包含4个1D卷积层（每个均匀的34滤波器3），2 1D最大层层（每个窗口大小为2），一个平坦的层和3个完全连接的层（每个均节点为64个节点，掉落比率为0.2）。层之间的激活函数是依赖的。最终输出激活函数是SoftMax。
Lukas Fischer、Lisa Ehrlinger、Verena Geist、Rudolf Ramler、Florian Sobieczky 等人。将人工智能应用于实践：关键挑战和经验教训。第四届机器学习和知识提取国际跨领域会议 (CD-MAKE)，2020 年 8 月，爱尔兰都柏林。第 451-471 页，�10.1007/978-3-030-57321-8_25�。�hal-03414730�
缺乏置信度度量：最先进的深度学习方法的另一个特点是缺乏置信度度量。与基于贝叶斯的机器学习方法相比，大多数深度学习模型不提供模型不确定性的合理置信度度量。例如，在分类模型中，顶层（主要是 softmax 输出）中获得的概率向量通常被解释为模型置信度，参见 [26] 或 [35]。然而，像 softmax 这样的函数可能会导致对远离训练数据的点进行不合理的高置信度外推，从而提供一种虚假的安全感 [39]。因此，尝试将贝叶斯方法也引入 DNN 模型似乎是很自然的。由此产生的不确定性度量（或同义的置信度度量）依赖于给定数据权重的后验分布的近似值。作为此背景下的一种有前途的方法，变分技术（例如基于 Monte Carlo dropout [27]）允许将这些贝叶斯概念转化为计算上可处理的算法。变分方法依赖于 Kullback-Leibler 散度来测量分布之间的差异。因此，所得的近似分布集中在单一模式周围，低估了该模式之外的不确定性。因此，对于给定实例的结果置信度度量仍然不令人满意，并且可能仍然存在误解高置信度的区域。
基于学习的深度学习诊断猫型心肌病
猫型心肌病（HCM）是一种常见的心脏病，影响了所有猫的10-15％。带有HCM的猫表现出呼吸困难，嗜睡和心杂音；此外，猫HCM也可能导致猝死。在各种方法和指数中，射线照相和超声检查是猫HCM诊断的黄金标准。但是，仅使用射线照相就只能达到75％的精度。因此，我们使用231个猫（143 hcm和88 normal）的腹侧放射线图培训了五个残留体系结构（Resnet50V2，Resnet152，InceptionResnetV2，MobilenEtV2和Xception），并研究了用于诊断Finely Finely HCM HCM的最佳体系结构。为了确保数据的普遍性，X射线图像是从5个独立机构获得的。此外，测试中使用了42张图像。测试数据分为两个；在预测分析中使用了22片射线照相图像，并在评估窥视现象和投票策略的评估中使用了20个X射线照相图像。结果，所有模型的精度> 90％； RESNET50V2：95.45％； Resnet152：95.45; InceptionResnetv2：95.45％； Mobilenetv2：95.45％和Xception：95.45。此外，将两种投票策略应用于五个CNN模型； SoftMax和多数投票。因此，SoftMax投票策略在合并的测试数据中达到了95％的精度。我们的发现表明，使用残留体系结构的自动学习系统可以帮助兽医放射科医生筛选HCM。
人工智能和数据分析行业培训
- 简介、神经网络和深度学习的历史、生物神经元的基础知识； - 深度多层感知器 (MLP)：符号、反向传播算法、激活函数、Dropout 层和正则化、整流线性单元 (ReLU)、权重初始化、批量标准化、用于多类分类的 Softmax； - 人工神经网络 - 卷积神经网络 (CNN)、卷积、图像边缘检测、填充和步幅、RGB 图像卷积、卷积层、最大池化、RNN、LSTM、使用 Keras 的神经网络模型和 Tensorflow、迁移学习。7 种用于人工智能和数据分析的工具和应用程序
计算机视觉和深度学习在水下栖息地鱼类分类中的应用：一项调查
图 5 演示了流行的 CNN 架构 UNET（Ronneberger 等人，2015 年）。UNET 的第一个组件是编码器，用于从输入图像中提取特征。第二个组件是解码器，用于输出每个像素的分数。该网络由五个不同的层组成，包括卷积层 (Conv Layer)、整流线性单元 (ReLU)、池化、反卷积层 (DeConv) 和 SoftMax。在这里，DNN 层的任务是只给输入图像中属于鱼身的像素高分，从而得到所示的白色斑点输出，显示鱼的位置
使用基于边距的标签平滑校准分割网络
尽管深度神经网络推动了视觉识别任务的进步，但最近的证据表明，这些模型校准不佳，导致预测过于自信。在训练期间最小化交叉熵损失的标准做法促使预测的 softmax 概率与独热标签分配相匹配。然而，这会产生正确类别的预 softmax 激活，该激活明显大于其余激活，从而加剧了校准错误问题。最近从分类文献中观察到，嵌入隐式或显式最大化预测熵的损失函数可产生最先进的校准性能。尽管有这些发现，但这些损失在校准医学图像分割网络的相关任务中的影响仍未得到探索。在这项工作中，我们提供了当前最先进的校准损失的统一约束优化视角。具体来说，这些损失可以看作是线性惩罚（或拉格朗日项）的近似值，对 logit 距离施加了等式约束。这指出了这种底层等式约束的一个重要限制，其随后的梯度不断推向无信息解决方案，这可能会阻止在基于梯度的优化过程中在判别性能和模型校准之间达到最佳折衷。根据我们的观察，我们提出了一种基于不等式约束的简单而灵活的泛化方法，它对 logit 距离施加了一个可控的边际。在各种公共医学图像分割基准上进行的全面实验表明，我们的方法在网络校准方面为这些任务设定了新的最先进的结果，同时判别性能也得到了改善。代码可在 https://github.com/Bala93/MarginLoss 获得
基于脑肌肉混合信号的机器人手臂控制系统
在本文中，使用了预先训练的FastAI CNN模型的RESNET152体系结构。RESNET152体系结构被视为基本模型，并通过修改后3层进行改进。密集的层，然后使用新层改善了软磁层和二进制跨膜片层。在此之后，改进了RESNET152深度学习模型，对从Kaggle和Brats2015收集的2个不同的脑数据集进行了培训。进行模型的微调。在DataSet-253和DataSet-205上进行验证时，改进模型的精度分别为97％和96％。与其他深度学习模型相比，改进的模型使用2个不同的大脑MRI数据集可获得最佳结果。图中给出了精度百分比比较。15下面。应用于增加MR
使用1-D
本文提出了一种基于1-D卷积神经网络（CNN）的ballistarcardiogram（BCG）分类方法，该方法为临床诊断提供了辅助基础，尤其是在老年人中心脏功能的监测中。四类BCG信号用作1-D CNN的输入。通过在时间轴上移动卷积内核，在保持频带相关性的同时，可以更好地满足BCG信号的时间变化。然后将它们发送到多层传感器，此后将软玛克斯分类器处理的功能分类。我们获得了93.39％的精度，其中H类为95.36％，C类为86.19％，D类为95.31％，Y类为96.57％。与现有的研究结果相比，提出的方法实现了出色的分类性能。此方法是简单，快速且高通用的，它可以作为老年人每天诊断心脏病的可靠辅助工具。