XiaoMi-AI文件搜索系统
World File Search SystemMarkov
Rotem Arnon-Friedman 简历
马尔可夫模型中的量子防护多源随机性提取器，Rotem Arnon-Friedman、Christopher Portmann 和 Volkher B Scholz，第 11 届量子计算、通信和密码理论会议，2016 年。已发布版本。
基于人工智能的经济评估...
结果：共纳入 21 项研究。最常见的 AI 干预类型是自动图像分析 (9/21, 43%)，主要用于普通医学和肿瘤学的筛查或诊断。几乎所有研究都是从医疗保健系统或付款人的角度进行的成本效益分析 (10/21, 48%) 或成本效益分析 (8/21, 38%)。16/21 (76%) 项研究使用了决策分析模型，主要是马尔可夫模型和决策树。三项 (3/16, 19%) 使用短期决策树，然后是长期马尔可夫组件。十三项研究 (13/21, 62%) 报告称 AI 干预具有成本效益或占主导地位。限制往往源于输入数据、作者利益冲突以及缺乏透明报告，尤其是关于干预的人工智能性质。
随时随地竞争性强化学习与策略先验
本文研究了任何时间竞争性马尔可夫决策过程（A-CMDP）的问题。现有在受约束的马尔可夫决策过程（CMDP）上的现有作品旨在优化预期的奖励，同时将预期成本限制在随机动态上，但是特定情节中的成本仍然不令人满意。相比之下，A-CMDP的目标是优化预期的奖励，同时保证任何情节的每轮有限成本与之前的政策。我们提出了一种新算法，称为任何时间竞争力的增强学习（ACRL），可以保证任何时间的成本限制。遗憾的分析表明，该政策渐近与任何时间竞争性约束下可获得的最佳奖励匹配。有关碳智能计算的应用实验，可以验证ACRL的奖励性能和成本约束保证。
衍生品定价和信用风险的量子计算算法转换经济
量子计算机尚未完成为财务分析师常用的实用随机扩散模型提供计算优势的任务。在本文中，我们介绍了一类随机过程，这些过程在模仿金融市场风险以及更适合潜在量子计算优势方面都是现实的。我们研究的模型类型是基于由马尔可夫链驱动的，具有可观察状态的制度转换波动率模型。基本模型具有几何布朗运动，其漂移和波动率参数由马尔可夫链的有限状态确定。我们研究算法以估计基于门的量子计算机上的信用风险和期权定价。这些模型使我们更接近现实的市场环境，因此更接近实用应用领域的量子计算。
量子法诺不等式
我们先从经典信息论中的法诺不等式说起。一个马尔可夫链 X → Y → ˆ X，其中一个随机变量 X，以及从观测 Y 中得到的估计 ˆ X。最简单的理解是，这个马尔可夫链就是一个通信信道，其中 Y 等于噪声加上 X，ˆ X 是基于 Y 做出的估计。因此，最好的情况是 H(X|ˆ X)=0，这意味着我们的估计完全恢复了原始的 X 而没有错误，但是在大多数其他情况下这基本上是不可能的，因此我们感兴趣的是通过信道丢失了多少信息，换句话说，H(X|ˆ X)，给出了估计 ˆ X 时 X 还有多少不确定性。因为它不是理想的，所以出错是不可避免的，我们定义 P e=P(ˆ X ̸= X) 和一个新的随机变量 Z [2]。
![arXiv:2004.06040v1 [quant-ph] 2020 年 4 月 13 日 - NSF-PAR](/simg/9\93e453d34685bd4e49723d00ff3ea7a696f35223.webp)
arXiv:2004.06040v1 [quant-ph] 2020 年 4 月 13 日 - NSF-PAR
当转换和奖励函数未知时，马尔可夫决策过程是现代强化学习领域的基础数学形式化。我们推导出一个伪布尔成本函数，它相当于离散、有限、折现马尔可夫决策过程的 K 自旋汉密尔顿表示，具有无限的视界。这个 K 自旋汉密尔顿提供了一个起点，可以使用启发式量子算法（例如绝热量子退火和近期量子硬件上的量子近似优化算法）来求解最优策略。在证明我们的汉密尔顿的变分最小化等同于贝尔曼最优条件时，我们建立了与经典场论的有趣类比。除了通过模拟和量子退火与经典 Q 学习进行概念验证计算以证实我们的公式外，我们还分析了在量子硬件上解决汉密尔顿所需的物理资源的扩展。
强化学习的数学
区域： / modulnr。：部门数学 / CIT413036课程结构：讲座：2H练习：2H内容：课程概述了增强学习的数学基础，包括对马克夫决策过程的介绍和表图形的增强性增强学习方法（Monte Carlo，Monte Carlo，时间差异，SARSA，SARSA，SARSA，Q-LEAL，Q-LEARNINGNING，...）。这些主题是通过对随机近似理论的影响来补充的，以对算法进行收敛分析。Prerequisite: MA0001 Analysis 1, MA0002 Analysis 2, MA0004 Linear Algebra 1, MA0009 Introduction to Probability Theory and Statistics, MA2409 Probability Theory Literature : Sutton, Barto (2018): Reinforcement Learning: An Introduction, MIT Press Puterman (1994): Markov Decision Processes: Discrete Stochastic Dynamic Programming, Wiley Kushner, Yin (2010): Stochastic近似和递归算法和应用，施普林格证书：请参阅Tumonline位置/讲座/练习：请参阅Tumonline
增强学习（MIE1630）
课程描述：本课程是为增强学习提供基本概念和数学框架。具体主题包括马尔可夫决策过程，表格加强学习，策略梯度方法和功能近似，例如深度强化学习。可选主题是分配加强学习，基于模型的方法，外线学习，逆强化学习和多代理强化学习。该课程旨在使研究学生从方法论发展或强化学习对应用程序的应用的角度来体验有关强化学习的研究。教科书：无教科书参考：强化学习：第二版，R。Sutton和A. Barto，麻省理工学院出版社，2018年马尔可夫决策过程 - 离散的随机动态编程，Martin L. Puterman，Wiley，Wiley，1994 cglee@mie.utoronto.ca ta：将宣布主题列表：
人类的视觉皮层流
本文描述的追踪通路的方法包括对来自同一组 171 名人类连接组计划参与者的 7T 结构和功能 MRI 数据执行的扩散纤维束成像 (Huang et al., 2021)、功能连接和有效连接 (Ma et al., 2022; Rolls et al., 2022a; Rolls et al., 2022b; Rolls et al., 2023a; Rolls et al., 2023b; Rolls et al., 2023d)，以及对 88 名人类连接组计划 (Larson-Prior et al., 2013) 参与者执行的脑磁图 (Rolls et al., 2023c)。扩散拓扑图测量的是大脑区域之间的直接解剖通路，而不是方向，不提供有关连接方向的证据，并且在上述研究中，功能和有效连接可以作为有益的补充，因为扩散纤维束成像有时可能会在通路交叉的地方产生假阳性，并且可能会错过一些特别长的通路。功能连接是通过一对皮质区域中的 BOLD 信号之间的 Pearson 相关性来衡量的，可能反映间接相互作用和共同输入，并且不提供有关任何影响方向的证据。然而，高功能连接确实反映了一对大脑区域的相互作用程度，并且确实反映了功能，因为它在静息状态和任务执行之间是不同的。本文描述的调查中使用了静息状态连接，因为它可以提供一个基本的连接矩阵，即使参与者可能无法执行特定任务（如某些精神障碍），也可以对其进行调查。有效连接旨在衡量两个大脑区域在每个方向上相互影响的程度，并利用时间延迟来估计有时被描述为因果关系的东西。有效的连接对于测量皮质区域之间尤其重要，因为至少在皮质层次结构中，解剖结构是不对称的，通常皮质层 2 和 3 向前投射到下一个皮质区域的层 2 和 3，而反向投影往往起源于更深的皮质层，并投射回前一个皮质区域的层 1，终止于皮质锥体细胞的顶端树突，因此可能具有较弱的影响，可以通过自下而上的前向输入分流（Markov et al., 2013; Markov and Kennedy, 2013; Markov et al., 2014; Rolls, 2016, 2023）。我们测量的有效连接被描述为全脑生成有效连接，因为它是可以生成所有 360 个皮质区域之间的功能连接和延迟功能连接（fMRI 为 2 秒，MEG 为 20 毫秒）的有效连接矩阵，并使用基于相互作用的 Stuart-Landau 振荡器的皮质连接模型的 Hopf 算法（Deco 等人，2019 年；Rolls 等人，2022b 年；Deco 等人，2023 年；Rolls 等人，2023c 年）。
人工智能基础（CS 5100）
课程概述 人工智能 (AI) 是几乎所有 21 世纪技术突破的基础。从自动驾驶汽车到自动翻译应用程序，AI 正在改变我们社会的方方面面，并在医疗保健、教育、金融、交通和环境可持续性等领域有着广泛的应用。在本课程中，我们将揭示“自动推理”的核心思想，这些思想使我们能够理解 AI 的基础主题。具体来说，我们将探索和解读以下主题： 模块 1（搜索） 无信息搜索、有信息搜索、本地搜索、对抗性搜索 模块 2（计划和调度） 约束满足、约束优化 模块 3（不确定性下的决策） 马尔可夫决策过程、强化学习 模块 4（图模型） 贝叶斯网络、隐马尔可夫模型 模块 5（机器学习） 监督学习、无监督学习、深度学习