目录描述概率和生成性模型,包括近似推理算法(MCMC,变异推理),深入生成模型(自动回应,得分匹配,扩散和基于流程的模型)以及基于模型的顺序决策。课程描述本课程的重点是概率的基本原理及其在现代机器学习和生成建模中的核心作用。随着概率越来越多地推动AI的进步,本课程将探索其在一系列主题中的应用程序。从近似推理算法到通过大规模自学学习的生成模型,再到基于概率模型的决策方法,您将对这些方法如何塑造当代AI研究有了更深入的了解。通过本课程学习目标,将向您介绍概率机器学习中的核心主题,包括概率图形模型和近似推理算法(例如MCMC和变异推理),深层生成模型,例如自动化,自动性,得分匹配,基于基于流程的方法和基于概率的模型,以及概率的模型和方法,并均基于概率和方法(避孕方法)(均匀的模型)(均匀的方法)(均匀的方法)(均匀的方法)(均匀的方法)(均匀的方法)(均匀的方法)(均匀的方法)(均匀的方法(基于信息的实验设计)。在本课程结束时,您将熟悉尖端研究和该领域的历史基础。建议准备本课程是为当前从事研究或希望从事研究的学生设计的,以概率的机器学习或深层生成模型进行研究。学生有望对阅读和介绍现代机器学习会议论文感到满意。熟悉机器学习(在CSCI 567级别),算法(在CSCI 570的级别上)和概率(在数学505a的级别)将是有益的。课程注释等级类型:字母等级。演讲幻灯片和其他课堂信息的副本将发布在课程网站上。技术水平和硬件/软件所需的本课程没有特定的软件要求。该课程将定期计划使用部分讲座进行课堂(实践)的“实验室会议”,以提供更多的动手经验,以我们将学习的理论概念。这些会话将涉及运行代码并使用概率和生成模型的实现。因此,鼓励学生(尽管不需要)学生将笔记本电脑带到每个班级,以便他们可以跟随并参加这些实践实验室会议。这些会议也将有助于实施技能,这些技能可以在整个学期中运行的课程项目中使用。此外,请参阅有关USC计算中心笔记本电脑借贷程序(链接)的以下信息。所需的读数和补充材料在此类中没有必需的读数,补充材料或教科书。可选的读数和补充材料以下资源对本类涵盖的许多主题很有用:1。凯文·墨菲(Kevin Murphy),“机器学习:概率观点”,2012年(链接)。2。凯文·墨菲(Kevin Murphy),“概率机器学习:高级主题”,2023年(链接)。3。4。5。Chris Bishop,“模式识别和机器学习”,2006年(链接)。克里斯·毕晓普(Chris Bishop),“深度学习 - 基础和概念”,2024年(链接)。Stefano Ermon,深层生成模型,课程注释(链接)。
Jeffrey Unruh .............................................................................................. LCI Consultant Gabriel Toro ................................................................................................ LCI Consultant William Swanson ................................................................................. Stantec Consultant
对空气动力学设计的几何形状的优化通常依赖大量昂贵的模拟来评估并迭代地改善几何形状。可以通过提供具有接近所需要求的起始几何形状来减少模拟的数量,通常在提升和阻力,空气动力学矩和表面积方面。我们表明,生成模型有可能通过在大量模拟数据集上概括几何形状来提供这种开始的几何形状。,我们利用了在Xfoil模拟上训练的扩散概率模型,以合成以给定的空气动力学特征和约束条件来调节的二维机翼几何形状。用Bernstein多项式将机翼参数化,以确保生成的设计的平滑度。我们表明,这些模型能够为相同的需求和约束生成各种候选设计,从而有效地探索了设计空间,以提供优化过程的多个起点。但是,候选设计的质量取决于数据集中模拟设计的分布。重要的是,该数据集中的几何形状必须满足在扩散模型条件中未使用的其他要求和约束,以确保生成的几何形状是物理的。
摘要 - 医学成像应用在人体解剖学,病理学和成像领域方面高度专业。因此,用于培训医学成像中深度学习应用的注释培训数据集不仅需要高度准确,而且还需要多样化,并且足够大,以涵盖与这些规格有关的大多数合理示例。我们认为,实现此目标可以通过带有注释的合成图像的受控生成框架来促进,需要多个条件规格作为输入才能提供控制。我们采用denoising扩散概率模型(DDPM)来训练肺CT域中的大规模生成模型,并根据无分类器采样策略进行扩展,以展示一个这样的生成框架。我们表明,我们的方法可以产生带注释的肺CT图像,这些图像可以忠实地代表解剖学,令人信服地愚弄专家将其视为真实。我们的实验表明,这种性质的受控生成框架几乎可以超过几乎所有最新的图像生成模型,而在接受类似的大型医疗数据集接受培训时,在生成的医学图像中实现了解剖学一致性。
摘要 - 从演示中学习(LFD)已成为一种有希望的方法,使机器人可以直接从人类示范中获取复杂的任务。但是,涉及自由形式3D表面上表面相互作用的任务在建模和执行中带来了独特的挑战,尤其是在演示和机器人执行之间存在几何变化时。本文提出了一个称为概率表面相互作用原始原始原始词(Prosip)的新型框架,该框架从系统地结合了表面路径和局部表面效果。仪器工具允许无缝记录和执行人类示范。通过设计,prosips独立于时间,不变到刚体的位移,并使用带有笛卡尔控制器的任何机器人平台。该框架用于浴室水槽的边缘清洁任务。证明了对各种对象几何形状和显着扭曲对象的概括能力。模拟和具有9度自由机器人平台的实验设置证实了绩效。
摘要。天气预报需要立即决策的确定性结果,也需要评估不可能的概率结果。但是,确定性模型可能无法完全捕获天气可能性的规范,概率预测可能缺乏特定计划所需的精确度,因为该领域旨在提高准确性和可靠性,因此面临重大挑战。在本文中,我们提出了基于确定性指导的扩散模型(DGDM),以利用确定性和概率天气前铸造模型的好处。DGDM集成了确定性分支和扩散模型作为概率分支,以提高预测精度,同时提供概率预测。此外,我们还引入了序列方差时间表,该序列方差时间表从不久的将来到遥远的未来进行了预测。此外,我们通过使用确定性分支的结果来提出截断的扩散,以截断差异模型的反向过程以控制不确定性。我们在移动MNIST上对DGDM进行了广泛的分析。此外,我们评估了Pacific Northwest风暴(PNW)typhoon卫星数据集的DGDM的有效性,用于区域极端天气预测,以及在WeatherBench数据集上用于全球天气预测数据集。实验结果表明,DGDM不仅在全球预测中,而且在区域预测方案中都能达到最先进的绩效。该代码可在以下网址提供:https://github.com/donggeun-yoon/dgdm。
摘要。由于各种物理降解因子和检测到的少量计数,从低剂量正电子发射断层扫描(PET)扫描中获得了高质量的图像是具有挑战性的。基于高级分布学习的生成模型(一种基于高级分布学习的生成模型)的转化扩散概率模型(DDPM)显示了各种计算机视觉任务的有希望的性能。但是,目前DDPM主要以2D模式进行研究,该模式的限制是pet图像denoising的局限性,因为通常以3D模式获取,重建和分析PET。在这项工作中,我们提出了一种用于PET Image DeNoising的3D DDPM方法,该方法采用3D卷积网络来训练得分函数,并启动网络学习3D分布。使用从西门子传记视觉Quadra扫描仪(轴向视野> 1m)获取的总体体18 F -FDG PET数据集来评估3D DDPM方法,因为这些总体数据集需要的3D操作最多可从不同的轴向液体中利用丰富的信息。所有模型均在1/20低剂量图像上训练,然后在1/4、1/20和1/50低剂量图像上进行评估。实验结果表明,在定性和定量评估中,3D DDPM明显优于2D DDPM和3D UNET,能够从低质量PET图像中恢复更精细的结构和更准确的边缘轮廓。此外,当训练和测试数据之间存在噪声水平不匹配时,3D DDPM显示出更大的鲁棒性。最后,就不确定性而言,将3D DDPM与2D DDPM进行比较,发现3D DDPM对可重复性的信心更高。
本文介绍了GensQL,这是一种用于查询数据库表的概率生成模型的概率编程系统。通过仅使用几个用于查询概率模型的关键基础来增强SQL,GENSQL可以简明地实现复杂的贝叶斯推理工作。gensql的查询计划器基于一个统一的程序化接口,用于与表格数据的概率模型进行交互,这使得使用以各种概率编程语言编写的模型,这些模型是针对特定工作量身定制的。概率模型可以通过概率程序合成,手工设计或两者的组合自动学习。gensql是使用新型类型系统和典型语义进行正式化的,这使我们能够建立证据,以确切地表征其健全性保证。我们在两项现实世界中评估了我们的系统,这是虚拟湿实验室的临床试验中的异常检测和有条件的合成数据生成 - 并表明GENSQL更准确地捕获了与普通基线相比的数据的复杂性。我们还表明,与几种替代方案相比,GENSQL中的声明语法更简洁,更容易出错。最后,gensql提供了1。7-6。8x加速度与最接近的竞争对手在代表性基准集合中相比,并在与手写代码相当的时间内运行,部分原因是其可重复使用的优化和代码专业化。
‘国家电网ESO的主要责任之一是计划英国未来的电网基础设施,以确保安全,可持续性和供应能力。随着能源转变的加速,与长期计划和决策相关的复杂性和不确定性增长'
