摘要 本研究调查了人为干预在人工智能/机器学习 (AIML) 驱动的预测中的作用。通过这样做,我们区分了三种不同类型的人机-AIML 协作:自动化、可调自动化和增强。我们推测预测不确定性和时间范围是预测准确性的两个关键决定因素。基于涉及零售行业约 1,888 个库存单位的 AIML 驱动需求预测的现场实验,我们依靠多值处理效果方法来衡量人机-AIML 协作对预测准确性的影响。我们的研究结果表明,在具有长期范围和低不确定性的预测中,人为干预最有效地补充了 AIML 驱动的预测(增强)。然而,在时间范围短、不确定性高的环境中,人工干预最不可能提高 AIML 预测(自动化)的有效性。我们讨论了对现有理论的影响,并提出了一个框架,概述了人工干预最有可能为人类-AIML 协作增加预测价值的条件。
如果我们把战略噪声图、受影响人群的分布和所有人的总烦恼分数计算成一个数字,我们可能会问这个最终结果的不确定性。从城市的数字模型到最终结果,需要进行数百万次复杂的计算,这只有在现实中才有可能,因为我们在建模和计算中接受了很多近似值甚至假设。在这种情况下,整个过程可以通过更详细的建模和计算得到改进,但时间或财务预算定义了不可逾越的限制,因此需要非常彻底地平衡每个步骤的准确性,以尽量减少最终结果的不确定性。如果我们在对结果贡献很小的步骤中投入计算时间和其他有限的资源,那么这个结果的不确定性就会增加(始终考虑到有限的预算定义了限制)。
摘要 天气和气候预测主要受高维性、许多不同空间和时间尺度上的相互作用以及混沌动力学的影响。这使得该领域的许多问题变得相当复杂,而且尽管计算成本巨大,但最先进的数值模型仍不足以满足许多应用的需求。因此,使用人工智能等新兴技术来解决这些问题很有吸引力。我们表明,可以使用深度神经网络模拟高度简化的大气环流模型的完整动态,既能提供未来几天模型状态的良好预测,也能提供稳定的长期气候时间序列。这种方法也部分适用于更复杂和更现实的模型,但只能用于预测未来几天模型的天气,而不能用于创建气候运行。使用 50-100 年的数据来训练网络就足够了。可以将相同的神经网络方法与数值集合天气预报的奇异值分解相结合,以便使用神经网络生成概率集合预报。从更基本的层面上讲,我们表明,在简单的动态系统设置中,前馈神经网络推广到系统新区域的能力似乎存在局限性。这是由于网络的不同部分学习对系统的不同部分进行建模所致。相反的是,对于另一个简单的动态系统,这被证明不是一个问题,这让人怀疑在更复杂的模型背景下简单模型的结果的实用性。此外,我们表明神经网络在某种程度上能够“学习”缓慢变化的外部强迫对系统动力学的影响,但只有在给定足够广泛的强迫机制的情况下才能做到这一点。最后,我们提出了一种补充操作天气预报的方法。给定初始场和过去天气预报的误差,使用神经网络预测新预报的不确定性,仅给定新预报的初始场。
对人机团队的研究通常为专家提供单一标签,这忽略了模型推荐中的不确定性。共形预测 (CP) 是一个成熟的研究方向,专注于构建一个理论上有依据的、经过校准的预测集,该预测集可能包含多个标签。我们探索此类预测集如何影响人机团队中的专家决策。我们对人类受试者的评估发现,集值预测对专家有积极影响。然而,我们注意到 CP 提供的预测集可能非常大,这导致 AI 助手无用。为了缓解这种情况,我们引入了 D-CP,一种对某些示例执行 CP 并听从专家的方法。我们证明 D-CP 可以减少非延迟示例的预测集大小。我们展示了 D-CP 在定量和人类受试者实验 (n=120) 中的表现。我们的结果表明,CP 预测集比单独显示 top-1 预测更能提高人类-AI 团队的表现,并且专家发现 D-CP 预测集比 CP 预测集更有用。
最近的研究表明,选择性预测系统具有潜在的优势,当人工智能的预测不可靠时,该系统可以学会听从人类的预测,尤其是在提高人工智能系统在医疗保健或保护等高风险应用中的可靠性方面。然而,大多数先前的研究都假设,当人类作为人机团队的一员而不是自己解决预测任务时,人类的行为保持不变。我们通过进行实验来量化选择性预测背景下的人机交互,表明情况并非如此。特别是,我们研究了向人类传达有关人工智能系统推迟决定的不同类型信息的影响。使用现实世界的保护数据和选择性预测系统(与人类或人工智能系统单独工作相比,该系统的预期准确度有所提高),我们表明这种信息传递对人类判断的准确性有显著影响。我们的结果研究了信息传递策略的两个组成部分:1) 人类是否被告知人工智能系统的预测;2) 人类是否被告知选择性预测系统的推迟决定。通过操纵这些消息传递组件,我们表明,通过向人类告知推迟的决定,但不透露人工智能的预测,可以显著提高人类的表现。因此,我们表明,在设计选择性预测系统时,考虑如何将推迟的决定传达给人类是至关重要的,并且必须使用人在环框架仔细评估人机团队的综合准确性。
机械活性蛋白对于无数生理和病理过程至关重要。在单分子力谱 (SMFS) 技术的进步的指导下,我们已经在分子水平上了解了几种机械活性蛋白如何响应机械力。然而,即使是 SMFS 也有其局限性,包括在力加载实验中缺乏详细的结构信息。这就是分子动力学 (MD) 方法大放异彩的地方,它以飞秒时间分辨率提供原子细节。然而,MD 严重依赖于高分辨率结构的可用性,而大多数蛋白质都无法获得高分辨率结构。例如,蛋白质数据库目前已存储 192K 个结构,而 Uniprot 上有 231M 个蛋白质序列。但许多人打赌这个差距可能很快就会缩小。在过去的一年里,基于人工智能的 AlphaFold 首次能够根据蛋白质序列预测近乎天然的蛋白质折叠,从而在结构生物学领域引起了轰动。对于某些人来说,AlphaFold 正在推动结构生物学与生物信息学的融合。从这个角度来看,使用计算机模拟 SMFS 方法,我们研究了 AlphaFold 结构预测在研究葡萄球菌粘附蛋白的机械性能方面的可靠性。我们的结果表明,AlphaFold 可以产生极其可靠的蛋白质折叠,但在许多情况下无法准确预测高分辨率蛋白质复合物。尽管如此,结果表明 AlphaFold 可以彻底改变对这些蛋白质的研究,特别是通过允许高通量扫描蛋白质结构。同时,我们表明 AlphaFold 结果需要验证,不应盲目使用,否则可能会获得错误的蛋白质机制。
本论文是与 Knowit、¨ Ostrand & Hansen 和 Orkla 合作完成的。旨在探索机器学习和深度学习模型与保形预测在 Orkla 预测性维护情况下的应用。预测性维护在许多工业制造场景中都至关重要。它可以帮助减少机器停机时间、提高设备可靠性并节省不必要的成本。在本论文中,各种机器学习和深度学习模型(包括决策树、随机森林、支持向量回归、梯度提升和长短期记忆)都应用于现实世界的预测性维护数据集。Orkla 数据集最初计划在本论文项目中使用。然而,由于遇到一些挑战和时间限制,我们选择了一个具有类似数据结构的 NASA C-MAPSS 数据集来研究如何应用机器学习模型来预测制造业的剩余使用寿命 (RUL)。此外,最近开发的用于测量机器学习模型预测不确定性的框架共形预测也被集成到模型中,以实现更可靠的 RUL 预测。论文项目结果表明,具有共形预测的机器学习和深度学习模型都可以更接近真实 RUL 预测 RUL,而 LSTM 的表现优于机器学习模型。此外,共形预测区间提供了有关预测不确定性的丰富而可靠的信息,这有助于提前通知工厂人员采取必要的维护措施。总体而言,本论文证明了在预测性维护情况下利用具有共形预测的机器学习和深度学习模型的有效性。此外,基于 NASA 数据集的建模结果,讨论了如何将这些经验转移到 Orkla 数据中,以便将来进行 RUL 预测的一些见解。关键词 机器学习、深度学习、不确定性估计、共形预测、预测性维护、RUL、概率预测、决策树、随机森林、支持向量回归、梯度提升、LSTM。
机械活性蛋白对于无数生理和病理过程至关重要。在单分子力谱 (SMFS) 技术的进步的指导下,我们已经在分子水平上了解了机械活性蛋白如何感知和响应机械力。然而,即使是 SMFS 也有其局限性,包括在力加载实验中缺乏详细的结构信息。这正是分子动力学 (MD) 方法大放异彩的地方,它以飞秒时间分辨率提供原子细节。然而,MD 严重依赖于高分辨率结构数据的可用性,而大多数蛋白质都无法获得这些数据。例如,蛋白质数据库目前存储了 192K 个结构,而 Uniprot 上有 231M 个蛋白质序列。但许多人认为,这一差距可能很快就会缩小。在过去的一年里,基于人工智能的 AlphaFold 能够根据蛋白质序列预测近天然蛋白质折叠,从而在结构生物学领域引起了轰动。对于一些人来说,AlphaFold 正在促成结构生物学与生物信息学的融合。在这里,我们使用我们小组首创的计算机模拟 SMFS 方法,研究 AlphaFold 结构预测在研究葡萄球菌粘附蛋白的机械性能方面的可靠性。我们的结果表明,AlphaFold 可以产生极其可靠的蛋白质折叠,但在许多情况下无法准确预测高分辨率蛋白质复合物。尽管如此,结果表明 AlphaFold 可以彻底改变对这些蛋白质的研究,特别是通过允许对蛋白质结构进行高通量扫描。同时,我们表明 AlphaFold 结果需要验证,不应盲目使用,否则可能会获得错误的蛋白质机制。
摘要 — 从事件日志中发现流程以及在运行时使用流程模型进行流程预测是改进复杂系统数字孪生运行越来越重要的方面。流程挖掘功能与模型驱动的数字孪生架构的集成提出了一个问题:哪些模型对于设计时和运行时的模型驱动数字孪生工程很重要。目前,不同的研究社区正在开展流程挖掘和模型驱动的数字孪生研究。在本立场文件中,我们主张将两个研究方向进行整体结合,以促进在运行时利用未来系统的数据和模型。提出的立场基于生产互联网卓越集群中流程挖掘专家和软件工程专家之间的持续讨论、研讨会和联合研究。我们旨在推动进一步的联合研究,将流程挖掘技术与模型驱动的数字孪生相结合,以便在运行时有效地结合数据和模型。索引术语 — 流程挖掘、数字孪生、模型驱动开发、Models@run.time