使用大数据进行贝叶斯计算的常见分裂方法是分区数据,分别对每一部分进行局部推断,并结合结果以获得全局后近近似值。虽然在概念上和计算上具有吸引力,但该方法涉及有问题的需要,也需要将局部推断的先验分开;这些疲软的先验可能无法为每个单独的计算提供足够的正则化,从而消除了贝叶斯方法的关键优势之一。为了解决这一难题,同时仍保留了基本局部推理方法的普遍性,我们将期望传播(EP)的想法应用于分布式贝叶斯推论的框架。鉴于其他近似值和先验的状态,迭代的想法是迭代地更新局部可能性的近似值。
[1] F. Bellard,“ Qemu,快速和便携式动态翻译器。”,在Usenix年度技术会议上,Freenix Track,第1卷。41,pp。10–5555,美国加利福尼亚,2005年。[2]“ Spike Risc-V ISA模拟器。” https://github.com/riscv- software-src/riscv-isa-sim。访问:2024-03-12。[3] J. L. Power和等,“ Gem5模拟器:20.0+版本”,Corr,Vol。ABS/2007.03152,2020。[4] C. Lattner和等,“ MLIR:针对域特定计算的缩放编译器基础架构”,2021年(CGO),pp。2–14,IEEE,2021。[5] C. Lattner和V. Adve,“ LLVM:终身计划分析与转型的汇编框架”,CGO2004。,pp。75–86,IEEE,2004年。[6] H.-I.C. Liu,M。Brehler,M。Ravishankar,N。Vasilache,B。Vanik和S. Laurenzo,“ Tinyiree:从编译到部署到部署的嵌入式系统的ML执行环境”,IEEE Micro,第1卷。 42,否。 5,pp。 9–16,2022。C. Liu,M。Brehler,M。Ravishankar,N。Vasilache,B。Vanik和S. Laurenzo,“ Tinyiree:从编译到部署到部署的嵌入式系统的ML执行环境”,IEEE Micro,第1卷。42,否。5,pp。9–16,2022。
因果推断广泛应用于社会科学,以分析特定治疗的影响。因果推理工具依赖于事先发现基本因果图,这是一个称为因果发现的过程。传统上,构建因果图取决于专家领域知识。但是,嵌入大型语言模型(LLMS)中的丰富知识提供了一种有希望的选择。尽管如此,仅LLMS在推断完整的因果图方面的表现很差,这主要是因为它们无法说明因果图的定向无环性。为了解决这一限制,我们提出了一种新颖的方法,将LLM与统计因果发现算法相结合,以更好地利用LLM的专家样能力。实验结果表明,所提出的方法显着提高了因果序的准确性,并有效地减少了下游因果效应估计任务中的错误。
以在临床试验中测试一种药物是否与阻止致命癌症进展有关为例。定期概率更新意味着服用该药物会改变在规定的时间窗口内死于该疾病的条件概率,无论试验在何时何地进行。操纵意味着即使我们考虑影响患者生存的所有其他因素(例如年龄和合并症),药物治疗仍显示出额外的益处。反事实条件意味着如果不服用该药物,患者的死亡就不会被推迟。最后,作用机制意味着我们了解药物为何延长患者的生存期,例如通过激活肿瘤浸润免疫细胞。总之,这四个条件既确保了统计相关性,又确保了机械理解。他们将 Austin Bradford Hill 2 的因果关系标准置于因果背景中,并为在医疗保健中建立因果关系的哲学推理实施了实际测试。3
导师 Dehan Kong 多伦多大学统计科学系副教授 dehan.kong@utoronto.ca 联合导师 Quan Long 卡尔加里大学生物化学与分子生物学系副教授 quan.long@ucalgary.ca 摘要 在这个项目中,候选人将参与一个关于大规模生物和医学数据中的因果推断的研究项目。关键创新在于进行表征学习以形成解开的潜变量(或分布),以减少噪音和非必要因素,从而为有效的因果推断铺平道路。将对脑部疾病的大规模组学数据进行分析,将统计方法转化为实际应用。这个跨学科项目将由 Dehan Kong 博士(多伦多大学)和 Quan Long 博士(卡尔加里大学)共同指导,Dehan Kong 博士是一位擅长因果推断、神经影像学和基因组学的统计学家,Quan Long 博士是一位医学院的计算机科学家,对脑部疾病感兴趣,可以接触到数据和领域专家。跨学科/应用经验 博士后研究员将在多伦多大学的 Kong 博士实验室和卡尔加里大学的 Long 博士团队之间分配时间。Kong 博士和 Long 博士在各种方法和应用统计研究领域拥有丰富的经验,涵盖因果推断、遗传和基因组学、神经成像和机器学习。他们的综合专业知识为研究员的培训和研究奠定了坚实的基础。 成功的候选人将沉浸在统计学和计算机科学的高度跨学科环境中。此外,候选人将与领域专家合作,他们可以从生物学和医学的角度提供解释。导师在相关领域有着长期的努力,并可以访问脑部疾病的大规模组学数据,包括阿尔茨海默氏症、帕金森氏症、自闭症、精神分裂症、双相情感障碍和抑郁症。研究小组可以使用最先进的计算设施,包括一台包含 800 个 CPU 的 CFI 支持的 HPC 服务器
复杂的机械系统通常由于能量耗散机制,材料本构关系或几何/连通性机制中存在非线性而表现出强烈的非线性行为。这些系统的数值建模导致具有潜在拉格朗日结构的非线性全阶模型。这项工作提出了一种通过结构化的机器学习来增强Lagrangian运算符推理方法,以学习非线性机械系统的非线性降低阶模型(ROM)。这种两步方法首先通过拉格朗日操作员推断学习了最合适的线性拉格朗日ROM,然后提出了一种具有结构的机器学习方法,以学习减少空间中的非线性。所提出的方法可以完全从数据中学习具有结构性的非线性ROM,这与现有的操作员推理方法需要了解非线性术语的数学形式。从机器学习的角度来看,它通过提供知情的先验(即线性Lagrangian ROM结构)来加速培训结构的神经网络,并通过在减少空间上运行来降低网络培训的计算成本。该方法首先在两个模拟示例中证明:保守的非线性棒模型和具有非线性内部阻尼的二维非线性膜。最后,该方法在实验数据集中证明了该方法,该数据集由从圈接头束结构中获得的数字图像相关测量值组成,从中可以从中获得预测模型,该模型可以准确地捕获幅度依赖性频率和阻尼特性。数值结果表明,所提出的方法产生可概括的非线性ROM,这些ROM表现出有界的能量误差,可靠地捕获非线性特征,并在训练数据制度之外提供准确的长期预测。
我们提供的软件SBIAX旨在使用机器学习和物理研究人员使用密度估计SBI技术来运行贝叶斯推断。这些模型可以轻松地适合代码中的多加速器培训和推断。该软件 - 用JAX编写(Bradbury等,2018) - 允许将最先进的生成模型整合到SBI上,包括连续正常化的流量(Grathwohl等,2018),匹配流量(Lipman等人,2023年,2023年),掩盖了自动化的自动化型(papamakarian et aul ther and all。在代码中实现。该代码具有与Optuna(Akiba等,2019)的集成(Akiba et al。,2019年)的超参数优化框架,该框架将用于确保一致的分析,用于快速MCMC采样的BlackJax(Cabezas等,2024)用于Neural网络方法,用于快速MCMC采样(Kidger&Garcia,2021)。SBIAX的设计允许训练和采样新的密度估计算法,只要它们符合SBIAX中所示的简单且典型的设计模式。
声明和免责声明 1. 在搭载英特尔 SGX 和英特尔 AMX 的第四代至强可扩展处理器上运行 TensorFlow ResNet50 推理工作负载时,性能提升高达 7.57 倍。请参阅下面的配置详细信息。 2. 在搭载英特尔 SGX 和英特尔 AMX 的第四代至强可扩展处理器上运行 Bert-Large 推理工作负载时,性能提升高达 5.26 倍。请参阅下面的配置详细信息。 3. 与上一代相比,在搭载英特尔 SGX 和英特尔 AMX 的第四代英特尔至强可扩展处理器上以 INT8 精度运行 Bert-Large 推理工作负载时,性能提升高达 4.61 倍。请参阅下面的配置详细信息。 4. 在配备英特尔 SGX 和英特尔 AMX 而非 FP32 的第四代英特尔至强可扩展处理器上运行 TensorFlow ResNet50 推理工作负载时,INT8 精度下的性能提升高达 8.02 倍,BF16 精度下的性能提升高达 4.30 倍。请参阅下面的配置详细信息。5. 在配备英特尔 SGX 和英特尔 AMX 而非 FP32 的第四代英特尔至强可扩展处理器上运行 Bert-Large 推理工作负载时,INT8 精度下的性能提升高达 5.46 倍,BF16 精度下的性能提升高达 4.17 倍。请参阅下面的配置详细信息。配置详细信息测试 1:截至 2022 年 11 月 21 日,英特尔进行测试。1 节点、2x 英特尔® 至强® 铂金 8380 CPU @ 2.30GHz、40 个内核、超线程关闭、睿频开启、总内存 512 GB(16x32GB DDR4 3200 MT/s [运行速度为 3200 MT/s])、BIOS 版本 SE5C6200.86B.0022.D64.2105220049、ucode 版本 0xd000375、操作系统版本 Ubuntu 22.04.1 LTS、内核版本 6.0.6-060006-generic、工作负载/基准使用 Fortanix 在安全区域内进行深度学习推理、框架版本 TensorFlow 2.11、模型名称和版本ResNet50v1.5/Bert-Large TEST-2:截至 2022 年 11 月 21 日,英特尔进行测试。1 节点、2x 英特尔® 至强® 铂金 8480+ CPU @ 2.0GHz、56 核、超线程关闭、睿频开启、总内存 512 GB(16x32GB DDR5 4800 MT/s [运行于 4800 MT/s])、BIOS 版本 3A05、ucode 版本 0x2b000070、操作系统版本 Ubuntu 22.04.1 LTS、内核版本 6.0.6-060006-generic、工作负载/基准使用 Fortanix 在安全区域中进行深度学习推理、框架版本 TensorFlow 2.11、模型名称和版本 ResNet50v1.5/Bert-Large 性能因使用情况、配置和其他因素而异。欲了解更多信息,请访问性能指数网站。性能结果基于截至配置中所示日期的测试,可能无法反映所有公开可用的更新。有关配置详细信息,请参阅备份。没有任何产品或组件能够绝对安全。您的成本和结果可能会有所不同。英特尔技术可能需要启用硬件、软件或激活服务。© 英特尔公司。英特尔、英特尔徽标和其他英特尔标志是英特尔公司或其子公司的商标。其他名称和品牌可能是其他财产。