机器学习算法的使用经常涉及对学习参数的仔细调整和模型超参数。不幸的是,这种调整是一种“黑色艺术”,需要专家经验,经验法规或有时是蛮力搜索。因此,自动方法可以很好地呼吁,可以优化任何给定的学习算法的性能。在这项工作中,我们通过贝叶斯选择的框架来考虑这个问题,其中学习算法的概括性能是从高斯过程(GP)中建模为样本的。我们表明,对于GP性质的某些选择,例如内核的类型及其超级参数的处理,可以在获得可以实现专家级别的良好优化器方面发挥至关重要的作用。我们描述了新的算法,这些算法考虑了学习算法实验的可变成本(持续时间),并且可以利用多个内核的主体进行并行实验。我们表明,这些提出的算法可以改善以前的自动过程,并且可以针对许多算法(包括潜在的Dirichlet分配,结构化SVM和卷积神经网络)达到或超越人类专家级别的优化。
摘要 脑机接口 (BCI) 是一种将大脑活动转化为操作技术命令的系统。脑电图 (EEG) BCI 的常见设计依赖于 P300 事件相关电位 (ERP) 的分类,这是一种由常见非目标刺激中罕见的目标刺激引起的反应。现有的 ERP 分类器很少直接探索神经活动的潜在机制。为此,我们对 P300 ERP-BCI 设计下的多通道真实 EEG 信号的概率分布进行了新颖的贝叶斯分析。我们的目标是识别神经活动的相关时空差异,这为 P300ERP 反应提供了统计证据,并有助于设计高效、准确的个性化 BCI。作为我们对单个参与者分析的一项重要发现,视觉皮层周围通道的目标 ERP 在刺激后约 200 毫秒达到负峰值的后验概率为 90%。我们的分析确定了 BCI 拼写器的五个重要通道(PO7、PO8、Oz、P4、Cz),从而实现了 100% 的预测准确率。从对其他九名参与者的分析中,我们一致地选择了确定的五个通道,并且选择频率对带通滤波器和内核超参数的微小变化具有稳健性。本文的补充材料可在线获取。
Smid 等人(2020 年)进行了一项系统评价,以表征贝叶斯和频率估计在小样本量 SEM 中的表现。在手动筛选 5050 项研究后,仅选定 27 项来回答他们的研究问题。进行系统评价需要付出巨大的筛选努力。这种筛选工作使证据综合成为一项极具挑战性的任务。开源 AI 辅助筛选工具可以潜在地减少工作量:系统评价的主动学习(ASReview;van de Schoot 等人,2020 年)。在 ASReview 中,研究人员与主动学习模型交互筛选摘要。根据研究人员的决策(相关与不相关),该模型会迭代更新其对剩余摘要的相关性预测。通过优先考虑最有可能相关的文章(即基于确定性的主动学习),ASReview 最大限度地减少了研究人员需要筛选的文章数量,同时仍能识别出大多数相关文章。手动筛选和自动优先排序出版物的过程会产生一组相关出版物。作为一个例子,ASReview 被应用于 Smid 等人(2020 年)确定的 5050 篇研究的全部集合。理想的表现被定义为最大限度地识别 Smid 等人最初确定的 27 篇相关文章,同时最大限度地减少研究人员需要筛选的文章数量。相关性预测由主动学习模型进行,该模型使用朴素贝叶斯或逻辑回归作为分类器。对于第一个预测,ASReview 需要一些示例文章。对每个分类器应用了 27 次 ASReview,使用每篇相关文章作为示例文章一次,并与一篇随机的不相关文章配对。如图 1 所示,贝叶斯和逻辑回归模型都发现超过 80%
从代理数据中获得的古气候重建提供了机会,可以在过去几千年中扩展乐器气候记录。此扩展允许识别气候趋势,这些气候趋势在短期观察期间未观察到,气候系统的上下文发生了当前的变化,并用于气候模型敏感性测试以增强未来的预测。在过去几十年中,使用代理数据重建精确的古气候到千年时间表的准确性千年时间表已经有所提高,但是高时间分辨率(1至10年)的重建受到限制。这主要是由于分辨出可用的代理记录和/或不确定时间学的抽样。微X射线荧光(M-XRF)核心扫描数据提供了有关沉积物序列变化的地球化学组成的多元信息。与诸如Varved沉积物序列的紧密结合年表结合使用时,M-XRF数据可以用作过去在年度至年度时间表上改变环境和气候条件的代理。尽管如此,尽管如此,重建仅是半定量的,因此仅用于评估气候和环境变异性的相对变化。
太阳能诱导的叶绿素荧光(SIF)已成为植被生产力和植物健康的有效指标。SIF的全球量化及其社会不确定性产生了许多重要的功能,包括改善碳通量估计,改善碳源和水槽的识别,监测各种生态系统以及评估碳序列工作。长期,区域到全球尺度监测现在是可行的,可以从多种地球观察卫星中获得SIF估计。这些努力可以通过严格的卫星SIF数据产品中存在的不确定性来源的严格核算来帮助这些努力。在本文中,我们引入了一个贝叶斯分层模型(BHM),以估算从1°×1◦分辨率分辨率分辨出具有全球覆盖的旋转碳天文台-2(OCO-2)卫星观测中的SIF和关联不确定性。我们的建模框架的层次结构允许方便模型规范,各种变异源的量化以及通过回归模型中的傅立叶项纳入季节性SIF信息。模型框架利用大多数温带土地区域的SIF可预测的季节性。所得数据产品以相同时空分辨率的现有大气二氧化碳估计值进行了补充。
我们和其他动物学习,因为我们不确定世界上存在一些方面。这种确定性是由于最初的无知而产生的,以及我们不完全了解的世界的变化。当发现我们对世界的预测是错误的时,通常可以明显看出。Rescorla-Wagner学习规则指定了一种预测错误会导致学习的方式,它具有极大的影响力,作为Pavlovian调节的特征,并通过与Delta规则相等的方式,在更广泛的学习问题中。在这里,我们在贝叶斯环境中回顾了撤销瓦格纳规则的嵌入,这是关于不确定性与学习之间的联系的精确联系,从而讨论了诸如Kalman过滤器,结构学习及其他等建议的扩展,这些建议集体涵盖了更广泛的不确定性范围,并适应了条件的范围。
本手稿提出了一种新型的贝叶斯主动学习可靠性方法,该方法同时整合了贝叶斯故障概率估计和贝叶斯决策理论多点富集过程。首先,提出了一种称为综合边缘概率(IMP)的认知不确定性度量,以作为Kriging估计的失败概率的平均绝对偏差的上限。然后,遵守贝叶斯决策理论,定义了一种称为多点逐步减少(MSMR)的外观学习函数,以量化通过在预期中添加一批新样本来量化IMP的可能减少。基于MSMR的多点富集过程的成本效率实现由三个关键的解决方法进行:(a)由于内部积分的分析性障碍性,MSMR将其减少到单个积分。(b)MSMR中的其余单个积分是通过数值截断的数值计算的。(c)最大化MSMR的启发式治疗方法是根据迭代迅速选择最佳下一个点的一批最佳点,其中使用规定或自适应方案来指定批量大小。在两个基准示例和两个动态可靠性问题上测试了所提出的方法。结果表明,MSMR中的自适应方案在计算资源消耗和整体计算时间之间取得了良好的平衡。然后,根据故障概率估计的准确性,迭代次数以及性能函数评估的数量,尤其是在复杂的动态可靠性问题中,MSMR的表现相当优于现有的倾斜功能和并行化策略。
Ph.D.论文委员会成员:Luofeng Liao,Jiangze Han(不列颠哥伦比亚大学),Tianyu Wang,Aapeli Vuorinen,Madhumitha Shridharan,Jerry Anunrojwong(哥伦比亚商学院),Steven Yin(2022),Sai Ananthanarayananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananaan lagzi of Turrontanaan lagzi(202222222) Yuan Gao(2022),Jingtong Zhao(2021),Fengpei Li(2021),Kumar Goutam(2020),Shuoguang Yang(2020),Min-Hwan OH(2020),Randy Jia(2020),Randy Jia(2020),Vladlena Powers(2020),vladlena Powers(2020),Zhe liuia liuia liuia(2019年),2019年,2019年(2019年)贝鲁特美国大学),Suraj Keshri(2019),Shuangyu Wang(2018),Francois Fagan(2018),Xinshang Wang(2017)Ph.D.论文委员会成员:Luofeng Liao,Jiangze Han(不列颠哥伦比亚大学),Tianyu Wang,Aapeli Vuorinen,Madhumitha Shridharan,Jerry Anunrojwong(哥伦比亚商学院),Steven Yin(2022),Sai Ananthanarayananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananananaan lagzi of Turrontanaan lagzi(202222222) Yuan Gao(2022),Jingtong Zhao(2021),Fengpei Li(2021),Kumar Goutam(2020),Shuoguang Yang(2020),Min-Hwan OH(2020),Randy Jia(2020),Randy Jia(2020),Vladlena Powers(2020),vladlena Powers(2020),Zhe liuia liuia liuia(2019年),2019年,2019年(2019年)贝鲁特美国大学),Suraj Keshri(2019),Shuangyu Wang(2018),Francois Fagan(2018),Xinshang Wang(2017)
a。奈良科学技术学院科学技术研究生院,8916-5高山 - 哥,马萨诸塞州伊科马,奈良630-0192,日本。b。数据科学中心,奈良科学技术学院,8916-5高山 - 俄罗斯州,伊科马,奈良630-0192,日本。c。材料信息学计划,RD技术与数字化转型中心,JSR Corporation,3-103-9 TOMAN-ACHI,KAWASAKI-KU,KAWASAKI,KANAGAWA,KANAGAWA 210-0821,日本。d。精细的化学工艺部,JSR Corporation,100 Kawajiri-Cho,Yokkaichi,MIE 510-8552,日本。e。 Keio大学科学技术学院化学系,日本Kohoku-Ku 3-14-1 Hiyoshi,Kohoku-Ku,Kanagawa,Kanagawa 223-8522,日本。f。奈良科学技术学院材料研究平台中心,8916-5高山 - 俄罗斯州,伊科马,纳拉,日本,伊科马630-0192。关键词聚合物,流量合成,自由基聚合,贝叶斯优化,多物镜贝叶斯优化,苯乙烯,苯乙烯,甲基丙烯酸甲酯