We provide a unified analysis of two-timescale gradient descent ascent (TTGDA) for solving structured nonconvex minimax optimization problems in the form of min x max y ∈Y f ( x , y ), where the objective function f ( x , y ) is nonconvex in x and concave in y , and the constraint set Y ⊆ R n is convex and bounded.在凸 - 孔循环设置中,单次梯度下降(GDA)算法被广泛用于应用中,并且已被证明具有强大的收敛保证。在更一般的设置中,它可能无法收敛。我们的贡献是设计ttgda算法,这些算法是有效的,这些算法超出了凸形 - 连接设置,并有效地确定了函数φ(·)的固定点:= maxy∈Yf(·f(·,y)。我们还建立了解决求解平滑和非平滑concove-concave minimax优化问题的复杂性的理论界限。据我们所知,这是对非凸端优化的TTGDA的第一个系统分析,阐明了其在训练生成的对抗网络(GAN)和其他现实世界应用问题中的卓越性能。关键字:结构化的非凸极最小值优化,两次尺度梯度下降,迭代复杂度分析
摘要 — 从梯度下降中得出的在线突触可塑性规则在广泛的实际任务中实现了高精度。然而,它们的软件实现通常需要繁琐的手工梯度或使用梯度反向传播,这牺牲了规则的在线能力。在这项工作中,我们提出了一种自定义自动微分 (AD) 管道,用于稀疏和在线实现基于梯度的突触可塑性规则,该管道可推广到任意神经元模型。我们的工作结合了前向 AD 的反向传播类型方法的编程简易性,同时节省了内存。为了实现这一点,我们利用在线突触可塑性的优势计算和内存扩展,提供一种固有稀疏的 AD 实现,其中如果张量是对角的,则昂贵的张量收缩被简单的元素乘法取代。基于梯度的突触可塑性规则(如资格传播 (e-prop))恰好具有这种特性,因此从这一特性中获益匪浅。我们在合成任务中展示了梯度反向传播与梯度对齐,其中 e-prop 梯度是精确的,以及音频语音分类基准。我们展示了内存利用率如何随网络规模而变化,而不依赖于序列长度,这与前向 AD 方法的预期一致。索引术语 — 算法、神经形态计算、资格传播、自动微分
摘要 - 深度学习中的Multi-Obigntive优化(MOO)旨在同时优化多个相互冲突的目标,这是在多任务学习和多标准学习等领域经常遇到的挑战。基于梯度的MOO方法的最新进展使发现了各种类型的解决方案,从单个平衡解决方案到有限的或什至是无限的帕累托集,并根据用户需求量量身定制。这些发展在跨领域(例如增强学习,计算机愿景,推荐系统和大语言模型)的领域都有广泛的应用。本调查提供了对深度学习中基于梯度的MOO的首次全面综述,涵盖算法,理论和实际应用。通过统一各种方法并确定关键挑战,它是推动这一不断发展的领域创新的基础资源。深度学习中MOO算法的全面列表可在https://github.com/baijiong-lin/awesome-multi-obigntive-deep-learning上找到。
投资涉及风险。本金可能损失。本基金采用积极管理方式,力求利用基于规则的投资流程提供超过标准普尔全球 BMI 的超额回报。无法保证本基金的投资目标一定会实现。本基金力求通过确定显示最强价格动量指标的全球股票市场部分来实现其投资目标,如下所述。根据其投资策略,本基金将投资于股票证券,其中包括直接投资于美国和非美国上市的普通股和存托凭证。本基金对非美国上市证券的直接投资可能以外币计价。本基金还可以购买利用美国存托凭证(“ADR”)或全球存托凭证(“GDR”)的非美国公司的股票证券。存托凭证(例如 ADR 或 GDR)可能会面临直接投资外国公司证券的某些风险,例如货币、政治、经济和市场风险,因为它们的价值取决于非美元计价的外国基础证券的表现。动量投资强调投资于近期表现优于其他证券的证券,因为这些证券的价值将继续上涨。之前表现出相对较高动量特征的证券可能不会经历正动量,或者可能比整个市场波动更大。高动量也可能表明证券价格已达到峰值,因此此类证券的回报可能低于其他投资方式的回报。基金和市场的表现
相对于在模型输出上定义的某些可区分的度量标准的潜伏模型的潜在和参数的优化是一个具有挑战性且复杂的问题。通过求解概率流ode或扩散SDE来完成扩散模型的采样,其中神经网络近似得分函数,允许使用数值ode/sde求解器。但是,幼稚的反向传播技术是内存密集的,需要所有中间状态的存储,并且在处理扩散SDE扩散项的注入噪声时面临额外的复杂性。我们向扩散模型的连续伴随方程提出了一个新型的定制ode求解器家族,我们称之为相邻。我们利用扩散SDE的唯一构建,以进一步简化使用指数积分器的连续伴随方程的制定。此外,我们为定制求解器提供收敛订单保证。显着,我们表明,扩散SDE的连续伴随方程实际上简化为简单的ODE。最后,我们以面部变形问题的形式以对抗性发作的形式证明了相邻生成的有效性。我们的代码将在https://github.com/zblasingame/adjointdeis上发布。
摘要 - 人的手指通过结合刚度不同的结构(从软组织(低)到肌腱和软骨(中)到骨骼(高),实现了异常的灵巧性和适应性。本文探讨了开发具有相似多态性特征的机器人手指。具体来说,我们建议使用通过体素大小和单位细胞几何形状参数的晶格配置,以优化并实现具有高粒度的精细调谐刚度。这种方法的一个重要优势是在单个过程中打印设计的可行性,消除了对刚度不同的元素的手动组装的需求。基于这种方法,我们提出了一种新颖的人类手指和一个软抓手。我们将后者与刚性操纵器集成在一起,并证明了挑选和放置任务的有效性。
心血管疾病(CVD)是世界上最常见的疾病之一,具有高致病性和高死亡率的特点(Vong等,2018;Wang等,2022a;Qian等,2021)。CVD的临床治疗主要包括三种方式:药物治疗,这是最广泛的治疗方式,也是CVD治疗的基础;介入治疗,包括射频消融和心脏起搏治疗;外科治疗,包括搭桥治疗和心血管移植(Abdelsayed等,2022;Lunyera等,2023;Krahn等,2018)。血管移植主要用于恢复或建立新的血流通路,以维持或改善组织或器官某个区域的血液循环,例如因创伤或切除导致血管段缺损,或动脉栓塞或淋巴阻塞而需要“搭桥”形成循环系统的情况(Xing et al.,2021;Zhao et al.,2023)。血管移植要求供应血管具有与受体血管相同的外径和足够的长度。移植物也面临供区血液循环受损(缺血或淤滞)等问题。因此,迫切需要高性能的人工血管移植来替代自体血管进行血流重建。目前小口径人工血管(<6 mm)主要用于冠状动脉搭桥术、外周血管搭桥术、血管创伤(缺损≥2 cm)、血液透析的组织血管通路、器官功能恢复等(Asakura等,2019;Wang等,2021;Wu等,2018),但人工血管移植可导致吻合口血栓形成、内皮增生等严重并发症,影响管腔通畅性(Oliveira等,2020;Teebken和Haverich,2002;Zhuang等,2020)。此外,目前的人工血管支架虽然具备一定的力学性能和生物相容性或能提供血管再生所需的生化信号,但在模拟天然血管的结构和功能方面还存在明显的不足,现有的支架往往不能充分模拟天然血管网络的拓扑结构,并会诱导细胞爬行,从而影响血管支架在临床应用中的效果(Liang等,2016;Cheng等,2022)。因此,为提高小口径人工血管的通畅性,通过材料选择、表面改性等提高生物相容性/内皮化/力学性能成为重点研究方向。静电纺丝技术可以制备具有高比表面积和孔隙率的微/纳米纤维,可以模拟细胞外基质,促进细胞黏附、增殖和分化,为细胞提供良好的生长环境。该接收装置的设计可以制备不同直径的管状结构,是制备小直径人工血管支架的理想方法(姚等,2022;郭等,2023;宋等,2023;王等,2022b)。特别是利用该技术制备的血管支架可以负载生物因子,提高血管支架的生物相容性,促进血管快速内皮化。虽然目前的人工血管支架已经具备一定的力学性能、生物相容性或能提供血管再生所需的生化信号,但如何结合现有支架的优势,将生物因子负载于血管内,实现血管再生,是当前血管支架研究的热点。
摘要 - 感谢任务驱动的图像质量增强(IQE)模型等最新成就,例如ESTR [1],图像增强模型和视觉识别模型可以相互增强彼此的定量,同时产生我们人类视觉系统可感知的高质量处理的图像。但是,现有的任务驱动的IQE模型倾向于忽略一个基本的事实 - 不同级别的视力任务具有不同的图像特征要求,有时甚至相互矛盾。为了解决这个问题,本文提出了针对医疗图像的任务驱动IQE的广义梯度促进(GradProm)培训策略。具体来说,我们将任务驱动的IQE系统分为两个子模型i。e。,一种用于图像增强的主流模型,也是视觉识别的辅助模型。在训练期间,GradProm仅使用视觉识别模型和图像增强模型的梯度更新图像增强模型的参数,但是只有当这两个子模型的梯度以相同的方向对齐时,这是通过其余弦相似性来衡量的。如果这两个子模型的梯度不在同一方向上,则GradProm仅使用图像增强模型的梯度来更新其参数。从理论上讲,我们已经证明了图像增强模型的优化方向不会被GradProm的实现下的辅助视觉识别模型偏差。从经验上讲,对四个公开但具有挑战性的医学图像数据集的广泛实验结果证明了Gradprom的表现优于现有最新方法。
摘要进行了本研究,以记录Macrofungi Mt.Arayat保护景观(MAPL),(菲律宾Pampanga)。目的抽样从2023年7月至2023年12月每月从南峰和北峰收集地点的基线(100-750 MASL)进行。记录了224个大芬基,属于两个门,四个类别,12个命令,36个家庭,53属和108种。在108种中,有70种在物种水平上鉴定出来。大多数有记录的分类群都属于基体基菌,其中琼脂类阶级记录的物种数量最多,其次是多植物。南峰值的大分子成分高70.37%,比北峰的百分比为52.78%。根据香农多样性指数(H)Margalef指数(R)(R)和偶数(E)在South Peass中分别以4.16(h)和15.49(R)分别对两个集合地点的分布进行了统计分析。在两个收集站点中的均匀度几乎都是统一的。Sorensen相似性指数为0.366,表明两个收集位点之间的共享物种中等水平。关于高程,在100-250 MASL(56.48%)处发现了最多的大型真菌组成,主要由草和树木组成。在501-750 MASL(25.93%)处发现了最低数量的大型真菌组成,主要由檐篷主导。在100-250 MASL中,大芬基的分布也更高,(h)= 4.066和(r)= 13.8。获得的三个高程几乎分布。共享物种的相似性在100-250 MASL与251-500 MASL之间相似,在100-250 MASL与750 MASL之间相对较低。大多数大型芬基被发现是不可用的,并且在死原木和树枝树干,竹子和腐烂的树桩上孤独地生长。气候因素(例如温度,湿度和降雨)以及人为的干扰影响了大芬的丰度和分布。在7月的雨季(51.85%)和12月的干燥月份(15.74%)中,该构图很高(51.85%)。在收集月份和三个不同的高度(100-250 MASL,251-500 MASL和501-750 MASL)中,通常在两个收集地点,在收集月份和三个不同的高程中通常发现了Ganoderma,Microporus,schizophyllum和Trametes的种类。被鉴定出22个大扇形,并被认为是菲律宾新记录的物种,在实验室中成功地组织了八个物种。在MAPL中观察到的这种高多样性与其森林生态系统的功能相关,这可能是有前途的大雄芬基的来源。因此,森林的保护和可持续性被认为是必要的。