知识蒸馏(KD)旨在将知识从大型教师模型转移到较小的学生模型。虽然对比学习通过创建歧视性表示表现出了在自我监督学习中的希望,但其在知识蒸馏中的信息仍然有限,并且主要涉及歧视,忽略了教师模型捕获的结构关系。为了解决这一限制,我们提出了d Iscriminative and C On Consistent d Istillation(DCD),它采用了对比损失以及一致性正规化,以最大程度地减少教师和学生代表分布之间的差异。我们的方法引入了在训练过程中适应这些互补目标的可学习温度和偏置参数,以取代对比度学习方法中常用的固定超平衡器。通过CIFAR-100和Imagenet ILSVRC-2012的广泛实验,我们证明DCD实现了状态的表现,学生模型有时会超过教师的准确性。此外,我们表明DCD的所学表示形式将转移到小型成像网和STL-10 1时表现出较高的跨数据集泛化。
持续学习 (CL) 的目标是随着时间的推移学习不同的任务。与 CL 相关的主要需求是保持旧任务的表现,利用后者来改进未来任务的学习,并在训练过程中引入最小的开销(例如,不需要增长模型或重新训练)。我们提出了神经启发稳定性-可塑性适应 (NISPA) 架构,通过固定密度的稀疏神经网络解决这些需求。NISPA 形成稳定的路径来保存从旧任务中学到的知识。此外,NISPA 使用连接重新布线来创建新的可塑性路径,以便在新任务上重用现有知识。我们对 EMNIST、FashionM-NIST、CIFAR10 和 CIFAR100 数据集的广泛评估表明,NISPA 的表现明显优于具有代表性的最先进的持续学习基线,并且与基线相比,它使用的可学习参数减少了十倍。我们还认为稀疏性是持续学习的必要因素。NISPA 代码可在 https://github.com/BurakGurbuz97/NISPA 上找到
使用移动式驱动模拟器进行了一个型型人类实验,其中40名参与者,由26名男性和14个女性组成,平均年龄为34.33岁。使用了受试者间的设计,而参与者的人口统计学的分配在群体之间达到了很好的平衡。参与者首先经历了人类驱动的基线,然后是由同一人类驾驶员或AV Conloller进行的其他动作。然后,要求参与者将驾驶行为分类为人类或自动化,并在1到5的李克特量表上提供信心评级。测试了两种类型的控制器:标准模型预测控制器(MPC)和一个名为drividoc的控制器(从视觉从视觉驱动到可区分的最佳控制),以前在人类驾驶示范中训练了端到端模仿学习与MPC结合使用的人类驱动示范。此控制器会根据从相机图像中提取的驾驶上下文自动调整MPC成本函数PA-RAMETER。有关drividoc的更多详细信息可以在[1]中找到。
摘要:维度分析是一种成熟的建模技术,它以模型参数的物理维度的形式利用领域知识。基于维度同质性原理,模型参数的物理维度信息可用于降低寻找正确模型的组合复杂性。同质性原理是一种通用的建模思想构造,其哲学基础使其适用于任何出现具有物理维度的模型参数的建模领域。相似性方法可以从工程领域转移到人工智能领域,因为这两个领域都共享实值传感器数据等共同对象。因此,在许多实值人工智能技术的建模中,使用白金汉 Pi 定理正式保证的群变换非常简单。以非线性神经网络的拓扑和泛化特性为例,展示了维度分析方法在人工智能不同领域(如基于案例的推理、模式识别、遗传算法、设计评估、神经网络等)的优势。结果为维度分析在人工智能技术中的建模能力提供了一些见解。
我们提出了Vidim,这是一个视频间隔的生成模型,该模型在启动和最终框架下创建了简短的视频。为了实现高保真度并在输入数据中产生了看不见的信息,Vidim使用级联的分化模型首先以低分辨率生成目标视频,然后在低分辨率生成的视频上生成高分辨率视频。我们将视频插补的先前最新方法归纳为先前的最新方法,并在大多数设置中演示了这种作品如何在基础运动是复杂,非线性或模棱两可的情况下失败,而Vidim可以轻松处理此类情况。我们还展示了如何在开始和最终框架上进行无分类器指导,并在原始高分辨率框架上调节超级分辨率模型,而没有其他参数可以解锁高保真性结果。vidim可以从共同降低所有要生成的框架,每个扩散模型都需要少于十亿个pa-rameters来产生引人注目的结果,并且仍然可以在较大的参数计数下享有可扩展性和提高质量。请在vidim- Interpolation.github.io上查看我们的项目页面。
摘要 本文利用 S2P 和 S2D 模型设置实现功率放大器的行为建模。利用标准功率放大器获得散射 (S 参数和大信号参数的测量结果。将这些参数导入 S2P 和 S2D 模型以执行 3 GHz 频率下的小信号和大信号分析。然后,将模拟结果与测量结果进行比较,以验证行为模型的有效利用。这项工作的新颖之处在于对直接从测量中获得的硅基驱动放大器特性进行模拟研究。这项工作可用于通过模拟确定驱动放大器特性对功率放大器测量的影响。最后,对不同参数的测量结果和模拟结果之间的相对误差性能分析进行研究,并计算 S11、S12、S21、S22、增益、pout、1 dB 压缩点、ACP、3 次谐波、4 次谐波的 NMSE(单位为 %)次谐波和 5 次谐波分别为 0.0083、0.0055、0.0086、0.011、0.0844、0.814、0.926、0.71、0.22、0.012 和 0.070。
肥胖症的普遍性每年在全球范围内增加。根据WHO报告[1],世界上有13%的成年人肥胖,而且数量一直在稳步增长。 2016年,肥胖大约是1975年的三倍。 在特有的肥胖人群中,具有体重指数(BMI)> 40 kg/m 2的病态正在上升。 鉴于为治疗肥胖症和联想疾病以及该人群中存在的合并症所进行的手术数量增加,麻醉学家在管理这些患者方面越来越困难。 在手术期间,麻醉患者在手术前后的插管和气道管理,机械通气,控制糖尿病和高血压,阻塞性睡眠呼吸呼吸暂停和心肺疾病可能会遇到麻烦。 此外,肥胖患者麻醉药的药代动力学和药效学变化使得很难控制适当剂量的麻醉剂。 体重的增加及其组成的变化会影响药代动力学的含量,例如分布量,清除率和消除半衰期。 肥胖患者的合并症,例如阻塞性睡眠呼吸暂停,也可能导致麻醉药的动态范围缩小。根据WHO报告[1],世界上有13%的成年人肥胖,而且数量一直在稳步增长。2016年,肥胖大约是1975年的三倍。在特有的肥胖人群中,具有体重指数(BMI)> 40 kg/m 2的病态正在上升。鉴于为治疗肥胖症和联想疾病以及该人群中存在的合并症所进行的手术数量增加,麻醉学家在管理这些患者方面越来越困难。在手术期间,麻醉患者在手术前后的插管和气道管理,机械通气,控制糖尿病和高血压,阻塞性睡眠呼吸呼吸暂停和心肺疾病可能会遇到麻烦。此外,肥胖患者麻醉药的药代动力学和药效学变化使得很难控制适当剂量的麻醉剂。体重的增加及其组成的变化会影响药代动力学的含量,例如分布量,清除率和消除半衰期。肥胖患者的合并症,例如阻塞性睡眠呼吸暂停,也可能导致麻醉药的动态范围缩小。
本文提出了一个深度学习模型,挑战了公司破产这一金融领域的已知知识。具体来说,我们构建了一个用于预测公司破产的多层感知器 (MLP) 模型,并对其进行了分析,以直观地显示哪些输入参数对模型的准确性最重要。该模型使用大约 55,000 行数据、数据清理和超参数优化,在 120 个时期和 30 次试验后实现了 82.8% 的平均准确率和 0.0678% 的标准差,这是一个出色的结果。该模型优于两个进行比较的支持向量机 (SVM) 模型,并表现出良好的泛化能力。然而,非线性 SVM 模型产生了 20.48% 的假阳性,准确率为 71.96%,而 MLP 模型产生了 25.1% 的假阳性。因此,如果减少假阳性的数量更重要,那么尽管准确率较低,但 SVM 模型可能是更可取的。分析输入参数后发现,员工人数、离职组和股权比例是对破产预测影响最大的输入参数。由此得出结论,这些参数可能是分析一家公司是否会破产时最重要的因素。
任意分割模型 (SAM) 因提供强大且通用的图像对象分割解决方案而备受关注。然而,在不同场景下对 SAM 进行微调以用于下游分割任务仍然是一个挑战,因为不同场景的不同特征自然需要不同的模型参数空间。大多数现有的微调方法试图通过引入一组新参数来修改 SAM 的原始参数空间,以弥合不同场景之间的差距。与这些工作不同,在本文中,我们提出通过参数空间重构(SAM-PARSER)来有效地对 SAM 进行微调,其在微调过程中引入几乎为零的可训练参数。在 SAM-PARSER 中,我们假设 SAM 的原始参数空间相对完整,因此它的基能够重建新场景的参数空间。我们通过矩阵分解获得基,并通过基的最佳线性组合对系数进行微调以重建适合新场景的参数空间。实验结果表明,SAM-PARSER 在各种场景中表现出卓越的分割性能,同时与当前参数高效的微调方法相比,可训练参数的数量减少了约 290 倍。
可以测试变压器。这些变压器的尺寸非常大,对运输造成了严重限制,这增加了挑战。显然,这种测试的成本和时间要求非常高。值得注意的是,模拟领域的最新进展导致了国际标准的变化,使得通过计算证明短路耐受能力成为可能(IEC 60076-5)。先进耦合场模拟的另一个例子是断路器中的电弧模拟,它提供了对设备中发生的物理现象的非凡洞察。断路器设计用于在几十毫秒内承受和中断高达数百 kA 的短路电流。测试这些不仅成本高昂且耗时,而且可测量参数的数量也非常有限。ABB 可以运行耦合的电磁/流体动力学/机械模拟,以捕捉断路器在故障电流中断 2 期间的真实行为。通过模拟,设计人员可以全面了解断路器中的流动条件。他们可以测量断路器内任何一点的压力和电压,并可以计算作用在关键部件上的力。这是一种强大的技术,使