摘要。我们提供了关于Dykstra的算法与Bregman预测的渐近行为的定量结果,著名的Dykstra算法的组合以及循环Bregman预测的方法,旨在确定最佳近似值,并在非正式设置中解决凸的可行性问题。我们提供的结果是通过证明挖掘的镜头,这是一种数学逻辑中的程序,可以从非效率证明中提取计算形式。具体而言,我们提供了低复杂性亚稳定性的高度均匀和可计算的速率,而且,我们还指定了一般情况,在这些情况下,人们可以获得充分和有效的收敛速率,尤其是欧几里得空间中Polyhedra的情况。作为我们定量分析的副产品,我们也是第一次建立了Dykstra方法与Bregman Projections的强烈收敛性。
从高维凸体中生成随机样品是无数连接和应用的基本算法问题。[DFK91]的著名结果的核心是用于计算凸体体积的随机多项式算法,是第一个用于均匀采样凸体的多项式时间算法。在此后的几十年中,对抽样的研究已导致其算法复杂性的一系列改进[LS90,LS93,KLS97,LV06,CV18],通常基于发现的新数学/几何结构,建立了与其他领域的连接(例如,均具有新的工具),并开发了新的工具(例如并分析马尔可夫连锁店。随着数据的扩散和机器学习的越来越重要,取样也已成为一种必不可少的算法工具,应用采样器需要非常高的尺寸的采样器,例如科学计算[CV16,HCT + 17,KLSV22] Sta20]。凸体的采样器基于马尔可夫链(有关摘要,请参见§A)。他们的分析是基于关联的马尔可夫链的电导限制,后者又界定了混合速率。分析电导需要将精致的几何参数与(Cheeger)凸体的(Cheeger)等级不平等相结合。后者的原型示例如下:对于任何可测量的分区S 1,s 2,s 3的凸形身体k r d,我们有
本文研究了网络化多智能体系统中的学习增强分散式在线凸优化,这是一个尚未得到充分探索的具有挑战性的场景。我们首先考虑一种线性学习增强分散式在线算法(LADO-Lin),该算法以线性方式将机器学习(ML)策略与基线专家策略相结合。我们表明,虽然 LADO-Lin 可以利用 ML 预测的潜力来提高平均成本性能,但它不能保证最坏情况的性能。为了解决这个限制,我们提出了一种新颖的在线算法(LADO),该算法自适应地结合 ML 策略和专家策略来保护 ML 预测,从而实现强大的竞争力保证。我们还证明了 LADO 的平均成本界限,揭示了平均性能和最坏情况鲁棒性之间的权衡,并展示了通过明确考虑鲁棒性要求来训练 ML 策略的优势。最后,我们对分散式电池管理进行了实验。我们的结果突出了 ML 增强在提高 LADO 的平均性能以及保证的最坏情况性能方面的潜力。
我们通过不信任服务器或其他筒仓/客户的人的私人数据来重新审视联合学习(FL)的问题。在这种情况下,每个筒仓(例如医院)有来自几个人的数据(例如患者),需要保护每个人数据的隐私(例如健康记录),即使服务器和/或其他孤岛试图发现此数据。silo记录级差异差异隐私(ISRL-DP)通过要求Silo I的通信满足项目级差异隐私,从而防止每个Silo的数据被泄漏。先前的工作[Lowy and Razaviyayn,2023a]表征了具有同质(I.I.D.)ISRL-DP算法的最佳多余风险范围筒仓数据和凸损失函数。但是,两个重要的问题被打开:(1)可以通过异质(非I.I.D。)实现相同的多余风险范围。孤岛数据?(2)可以通过更少的沟通回合实现最佳风险范围吗?在本文中,我们对两个问题给出了积极的答案。我们提供了新颖的ISRL-DP FL算法,这些算法在存在异质筒仓数据的情况下达到了最佳的过量风险界限。此外,我们的算法比以前的最新算法更有沟通效率。对于平滑的损失功能,我们的算法达到了最佳的多余风险界限,并且具有与非私有的下限相匹配的通信复杂性。此外,我们的算法比以前的最新算法更有效。
摘要 当输入点来自结构化配置(例如二维 (2D) 或三维 (3D) 网格)时,许多实际应用都要求计算凸包 (CH)。网格空间中的凸包已应用于地理信息系统、医学数据分析、机器人/自动驾驶汽车的路径规划等。用于 CH 计算的传统和现有的 GPU 加速算法不能直接在以矩阵格式表示的 2D 或 3D 网格上运行,并且不能利用这种光栅化表示中固有的顺序。这项工作引入了新颖的过滤算法,最初为 2D 网格空间开发,随后扩展到 3D 以加速外壳计算。它们进一步扩展为 GPU-CPU 混合算法,并在商用 NVIDIA GPU 上实现和评估。对于 2D 网格,对于 ( n × n ) 网格,贡献像素的数量始终限制为 ≤ 2 n。此外,它们是按字典顺序提取的,从而确保了 CH 的高效 O(n) 计算。同样,在 3D 中,对于 (n×n×n) 体素矩阵,贡献体素的数量始终限制为 ≤ 2n2。此外,2D CH 滤波在 3D 网格的所有切片上并行启用,从而进一步减少了要输入到 3D CH 计算过程的贡献体素的数量。与最先进的方法相比,我们的方法更胜一筹,尤其是对于大型和稀疏的点云。
现代机器学习中的随机优化方法通常需要仔细地调整算法参数,以大量的时间,计算和专业知识。这种现实导致人们对开发自适应(或无参数)算法的持续兴趣,这些算法需要最小或不需要调整[1、2、4-8、10-10-15、17-20]。但是,这些适应性方法通常比非自适应对应物的次级次数范围更差。存在“尽可能自适应”,还是有改进的空间?换句话说,是否有基本价格要支付(按照收敛速度),因为不知道问题参数吗?为了回答这些问题,我们从算法游戏理论中的“无政府状态价格” [16]中汲取了灵感,并介绍了“适应性价格”(POA)。大致说明,由于问题参数的不确定性,POA衡量了次优的乘法增加。我们显示了以下非平滑随机凸优化的POA下限:
在随机环境中涉及顺序决策的优化问题。在这本专着中,我们主要集中于SP和SOC建模方法。在这些框架中,存在自然情况,当被考虑的问题是凸。顺序优化的经典方法基于动态编程。它具有所谓的“维度诅咒”的问题,因为它的计算复杂性相对于状态变量的维度呈指数增长。解决凸多阶段随机问题的最新进展是基于切割动态编程方程的成本为go(值)函数的平面近似。在动态设置中切割平面类型算法是该专着的主要主题之一。我们还讨论了应用于多阶段随机优化问题的随机临界类型方法。从计算复杂性的角度来看,这两种方法似乎相互融合。切割平面类型方法可以处理大量阶段的多阶段问题
本文在组合和凸优化的界面上引入了一类新的问题。我们考虑每个顶点与凸面程序配对的图形,每个边缘通过额外的凸成本和约束来串联两个程序。我们将这样的图称为凸集(GCS)的图。在GCS上,我们可以制定任何可以通过普通加权图制定的优化问题,顶点和边缘的标量成本。实际上,对于凸面程序中变量的任何固定选择,GCS都会简化为加权图,例如,我们可以在其中寻找,例如路径,匹配,旅行或最低成本的生成树。GCS问题中的挑战在于共同解决问题的离散和连续组成部分。通过组合图形的建模能力和凸优化,GCSS是一个灵活的框架,可以制定和解决许多现实世界中的问题。图形和组合目标(例如,找到路径或巡回赛)模拟了问题的高级离散骨架。凸成本和约束填补了低级连续的细节。本论文的主要贡献是解决任何GCS问题的有效而统一的方法。从加权图上优化问题的整数线性编程公式开始,此方法将相应的GCS问题作为有效的混合构成凸点程序(MICP)制定。然后,可以使用公共分支和结合的求解器将此MICP求解为全局最优性,或者大约通过将其凸松弛的溶液四舍五入。重要的是,MICP及其解决方案的配方都是完全自动的,并且我们框架的用户不需要在混合构成优化方面的任何专业知识。我们首先以一般术语描述GCS框架和MICP的表述,而没有以GC在GC上解决的特定组合问题为前提。我们通过跨越物流,运输,调度,导航和计算几何形状的多个示例来说明我们的技术。然后,我们专注于GC中的最短路径问题(SPP)。这个问题特别有趣,因为它概括了各种多阶段的决策问题,并且使用我们的技术可以非常有效地解决。我们考虑了SPP在GC中的两个主要应用:动力学系统和无碰撞运动的最佳控制
保留培训数据的隐私已成为一个重要的考虑因素,现在对于机器学习算法来说是一项艰巨的任务。要解决隐私问题,依从于密码学的差异隐私(DP)(Dwork等,2006)是一个强大的数学保存计划。它允许进行丰富的统计和机器学习分析,现在正成为私人数据分析的事实上的符号。保证差异隐私的方法已被广泛研究,最近在行业中采用(Tang等,2017; Ding等,2017)。作为机器学习和差异隐私社区中最重要的问题之一,在过去的十年中,DP模型中的经验风险最小化问题(即DP-erm)在(Chaudhuri等人,2011年)开始,已经在过去的十年中进行了很好的研究,例如(Bassily等,2014; Bassily等,2014; Wang et ant; Jin,2016年,Kifer等人,2017年,Wang等人,2018a,2019b;dp-dp-erm,其人口(或预期)版本,即私人的固定式凸优化(DP-SCO),近年来从(Bassily等,2014)开始受到很多关注。特定于(Bassily等,2019)首先提供了DP-SCO的最佳速率,具有(ϵ,δ)-DP的一般凸损耗函数,这与DP-MERM中最佳速率不同。后来(Feldman等,2020)通过提供一般性定位技术,将此问题扩展到强烈凸出和(或)非平滑案例。此外,如果损耗函数平滑,它们的方法具有线性时间复杂性。对于非平滑损失函数,(Kulkarni等,2021)最近提出了一种仅需要亚限级梯度复杂性的新方法。虽然已经有大量有关DP-SCO的研究,但问题仍然远远不够知名度。一个关键的观察结果是,所有以前的作品仅着眼于损失函数是一般凸或强凸的情况。但是,还有许多问题甚至比强凸功能强,或者落在凸功能和强烈凸功能之间。在非私人对应物中,各种研究试图通过对损失函数施加其他假设来获得更快的速度。并且已经表明,实现比一般凸损失函数速率快的速率确实可以(Yang等,2018; Koren and Levy,2015; van Erven等,2015),或者甚至可以达到与强凸的强劲速率相同的速率,即使函数也不强劲,karimi et al al an al al an al al and act al and act al and act an al al an al an al an al al an al al an al al al al al al al al al al al al al al al al al al al al al al al al al al a al al a al al act 201 v exe et a al and lie et as act 2010 8。 Al。,2017)。以此为动机,我们的问题是,对于具有特殊类别的人口风险功能的DP-SCO问题,是否有可能比一般凸的最佳人口和(或(或)强烈凸出案例的最佳人口风险率更快?在本文中,我们通过研究一些类别的人口风险功能来提供有效的答案。尤其是,我们将主要关注种群风险功能满足Tysbakov噪声条件(TNC)1的情况,其中包括强烈凸功能,SVM,SVM,ℓ1频繁的随机性优化和线性回归为特殊情况
