研究文章 | 感觉不确定性和信心的行为/认知神经表征与感知好奇心有关 https://doi.org/10.1523/JNEUROSCI.0974-23.2024 收稿日期:2023 年 5 月 26 日 修订日期:2024 年 4 月 7 日 接受日期:2024 年 6 月 18 日 版权所有 © 2024 作者
摘要:将比例综合衍生(PID)控制方案应用于非线性多输入,多数输出(MIMO)系统,具有时间变化的不确定性是有挑战性的,并且毫无争议。在这项研究中,我们制定了基于深入的增强学习(RL)的PID调整策略,并在设计RL代理方面具有关键新颖性,以实现实时自适应MIMO PID调整以跟踪设定点,同时考虑时间变化的不确定性。我们评估了我们的调整策略,这些策略受到时变不确定性的连续搅拌坦克反应堆。传统的PID未能跟踪废水浓度设定点并引起较大的错误和偏移,但提出的RL代理可以快速准确地进行设定值跟踪,从而大大减少了错误并消除了偏移。因此,使我们的基于RL的策略在时间变化的不确定性下对化学工程应用有吸引力。关键字:增强学习,PID控制,MIMO系统,随时间变化的不确定性,自适应控制
抽象的神经网络(NNS)越来越多地用于天气和气候模型中数据驱动的亚网格尺度参数化。虽然NNS是从数据中学习复杂的非线性关系的强大工具,但将它们用于参数化存在一些挑战。这些挑战中的三个是(a)与学习稀有(通常是大振幅)样本有关的数据失衡; (b)预测的不确定性定量(UQ)提供精确指标; (c)对其他气候的概括,例如那些具有不同辐射的刺激的气候。在这里,我们使用基于整个大气的社区气候模型(WACCM)物理学的重力波(GW)参数化来解决这些挑战的方法的性能。WACCM具有地讲,对流和前驱动的GWS的复杂状态,对对流和前驱动的GWS。对流和地形驱动的GWS由于在大多数网格点缺乏对流或地球而具有显着的数据失衡。我们使用重采样和/或加权损失功能来解决数据不平衡,从而成功地模仿了所有三个来源的参数化。我们证明了三种UQ方法(贝叶斯NN,变异自动编码器和辍学器)提供了与测试过程中准确性相对应的集合差,提供标准,用于识别NN何时给出不准确的预测。最后,我们表明这些NN的准确性降低了温暖的气候(4×CO 2)。但是,通过应用转移学习,仅使用约1%的新数据从温暖的气候中重新训练一层,从而显着提高了它们的性能。这项研究的结果为开发可靠且可推广的数据驱动参数的各种过程(包括(但不限于)GWS)提供了见解。
从人类反馈(RLHF)中学习的最新进展通常是通过最大程度地提高观察到的人类偏好的可能性来对重新功能进行建模。但是,由于个体的不同背景,这些偏好信号本质上是随机的。在奖励和政策更新过程中,首选项中的这种固有的不确定性可能会导致不稳定或不安全的行为。在这项工作中,我们通过学习分布式奖励模型和来自离线偏好数据集的风险敏感政策来介绍RLHF中不确定性的优先对齐。具体来说,我们提出了最大的后验(地图),以更新与轨迹相关的奖励。此更新过程在人类偏好中的不确定性之前包含了一份信息。利用此更新的奖励样本,我们开发了一个生成奖励模型来表示奖励分布。在奖励模型中固有的随机性驱动下,我们利用了离线分销钟声操作员和有条件的危险价值(CVAR)度量标准,从离线数据集中学习了对风险敏感的策略。实验结果表明,风险敏感的RLHF代理可以有效地识别并避免具有重大随机性的状态,从而在不同任务中实现规避风险的控制。
2024 年 6 月 20 日,堪培拉:清洁能源投资者集团 (CEIG) 对可再生能源政策方法的近期转变感到担忧。限制可再生能源投资的提议和对既定目标的动摇承诺带来了不确定性,削弱了投资者信心和澳大利亚在全球清洁能源转型中的领导地位。这种转变给国内外投资者带来了前所未有的主权风险,表明澳大利亚对可再生能源未来的承诺存在不稳定因素,而可再生能源对于资助长期项目至关重要。可能退出可再生能源目标加剧了这种不确定性,阻碍了未来的投资,并促使现有投资者重新评估其立场。这些决定可能会危及澳大利亚在履行《巴黎气候协定》将全球变暖限制在 1.5°C 的目标方面取得的进展。在全球社会迫切面临气候变化挑战之际,可再生能源政策的稳定性和连续性势在必行。对可再生能源和目标的任何动摇都有可能破坏该行业取得的进展以及澳大利亚在全球可再生能源倡议中的领导地位。 CEIG 临时首席执行官 Marilyne Crestias 表示:“在这个关键时刻对可再生能源投资施加限制将是一项倒退的政策,它将带来巨大的主权风险,并削弱澳大利亚作为清洁能源投资者目的地的全球吸引力。这还会削弱那些已经为澳大利亚能源转型投入数十亿美元的投资者的信心。”“稳定和可预测的政策环境对于吸引和留住实现可再生能源目标所需的大量资本至关重要。政策方向的重大变化可能会破坏我们为澳大利亚脱碳之旅建立的势头,”
大型语言模型(LLM)提供了有关回答(QA)方案的重要价值,并在复杂的决策环境(例如生物多样性保护)中具有实际应用。然而,尽管性能进行了实质性提高,但它们仍可能产生不准确的结果。因此,将不确定性量化与预测同时纳入预测至关重要。这项研究介绍了对蒙特卡洛辍学(MCD)和预期校准误差(ECE)的应用来评估生成语言模型的不确定性的探索性分析。为此,我们分析了两种公开可用的语言模型(Falcon-7b和Distilgpt-2)。我们的发现表明,将ECE用作估计生成LLM不确定性的指标的可行性。这项研究的发现有助于一个更广泛的项目,旨在促进有关哥斯达黎加生物多样性的标准化和集成数据和服务的自由访问,以支持科学,教育和生物多样性保护的发展。
在商业战略领域,起点始终是对期望目标的清晰愿景,这在度过动荡时期时尤其重要。然而,这种愿景往往屈服于将现在投射到未来的综合症,忽视了动荡时期带来的不可预测性和挑战。本文探讨了远见的力量,这是一种战略工具,它通过设想未来情景(包括动荡时期的情景)并将这些见解融入当下,扭转了这种方法。通过欧洲组织的实际见解和案例,本文将展示远见如何不仅挑战和完善组织的战略愿景,而且还揭示关键机遇和威胁,从而完善其战略,以确保在面对不确定性时具有韧性和竞争优势。
机器学习研究进展的最后十年已经引起了功能令人惊讶但也不可靠的系统。由Openai开发的聊天机器人Chatgpt提供了这种张力的很好的说明。用户在2022年11月发布后与系统进行交互,虽然可以在编程代码和作者Seinfeld场景中找到错误,但也可能会被简单的任务混淆。例如,一场对话显示了机器人声称最快的海洋哺乳动物是百富麦猎鹰,然后将其思想转变为帆船,然后又回到猎鹰,这是显而易见的事实,即这些选择都不是哺乳动物。这种不平衡的性能是深度学习系统的特征,即近年来进步最大的AI系统的类型,并给他们在现实世界中的部署带来了重大挑战。
其中矩阵w(j)µ和w(j)σ表示层j,j j〜n(0,1)的后验分布的平均值和标准偏差,而操作员norm(β,βJ,γJ),可训练的参数βJ和γj的均值和标准偏差,可以指代任何批次,层,层,层,层或实例化。
微电网是一种越来越流行的解决方案,可为响应增加的电网依赖性以及气候变化对电网操作的影响而增长。但是,在确定一组设计和操作决策以最大程度地降低长期成本或满足弹性阈值时,现有的微电网模型当前不考虑气候变化的不确定和长期影响。在本文中,我们开发了一种新型的情景生成方法,该方法解释了(i)气候变化对可变可再生能源可利用率的不确定影响,(ii)现场负载上的极端热量事件以及(iii)种群和电气化趋势对负载增长。此外,我们开发了现有的微电网设计和调度优化模型的两阶段随机编程扩展,以获得不确定性信息和气候 - 应能能源系统决策,从而最大程度地减少了长期成本。使用样本平均近似来验证我们的两个案例研究表明,所提出的方法产生了高质量的解决方案,从而增加了具有现有备份生成系统的系统,同时降低了预期的长期成本。