XiaoMi-AI文件搜索系统
World File Search SystemMarko
量子平行的马尔可夫链蒙特卡洛
平行MCMC技术使用多个建议来获得超过MCMC算法（例如大都市）的效率提高（Metropolis等人。1953; Hastings 1970）及其后代仅使用一个建议。Neal（2003）首先通过提出候选状态的“池”并使用动态编程来选择有效的MCMC过渡来推断隐藏的马尔可夫模型状态。接下来，Tjelmeland（2004）考虑了一般环境中的推论，并显示了如何维持任意数字P的详细平衡。考虑在R D上定义的概率分布π（dθ），该概率密度π（θ）相对于Lebesgue度量，即π（dθ）=：π（θ）dθ。要从目标分布π生成样品，我们制作了满足
教授。 Maja Cavic候选人博士：Marko Pencic -FTN div>
论文提出了具有7和8度的自由度的生物学启发的机器人眼睛，以研究人与机器人之间的非语言交流。总共开发了四种通用，先进和复杂的机器人眼溶液，其中两种具有男性眼睛的竞争力，两种具有女性眼的特征 - 所有解决方案都具有低压，并且完全基于人眼的运动学原理。机械眼系统的所提供的运动学和最佳尺寸合成过程对研究人员在开发机器人眼时可以有很大帮助。使用显示的开发算法和Opti-
马尔可夫链不变分布的定量近似。一种新方法
在本文中，我们在可测量的状态空间（x，x）上处理一个Markov链，该链具有一个过渡内核P，允许一些小型s∈X，也就是说，对于任何x∈X，a∈X，对于p（x，a）≥ν（x，a）≥ν（x，a）1 s（x）1 s（x）。在这种情况下，我们提出了在（x，x）上的p- invariant概率度量π的建设性表征，使得π（1 s）>0。当存在这样的π时，仅根据ν，p和s的有限线性组合，在加权或标准的总变化规范中近似。接下来，使用标准漂移型条件，我们提供近似的几何/子几何收敛界限。这些界限是完全明确的，并且尽可能简单。收敛速率是准确的，在原子情况下它们是最佳的。请注意，还讨论了在[HL20B]中引入的有限级分配子不能进行近似P的收敛速率。这是一种近似π的新方法，因为它不是基于p对π的迭代的收敛性。因此，我们不需要任何疗效条件。此外，证明是直接的。他们在非原子案例中既不使用分裂链，也不使用续签理论，耦合方法，也不使用光谱理论。从某种意义上说，这种具有小型马尔可夫链的方法是独立的。
使用统计测试推断出的部分可观察的马尔可夫模型揭示了孟加拉雀科歌曲中的上下文依赖于上下文的音节过渡
生成模型具有多种应用，包括语言处理和Birdsong分析。在这项研究中，我们证明了如何使用旨在防止序列产生过度笼的统计检验来推断孟加拉语歌曲中音节序列的最小模型。我们专注于部分可观察到的马尔可夫模型（POMM），该模型由状态和它们之间的概率过渡组成。每个状态都与特定的音节相关联，有可能多个状态与同一音节相对应。此特性将POMM与标准Markov模型区分开，其中每个音节都链接到单个状态。在音节中存在多个状态表明，音节之间的过渡受到这些转变发生的特定情况的影响。我们应用这种方法来分析六个成年男性孟加拉犬的歌曲。我们的结果表明，听觉反馈在塑造孟加拉语歌曲的上下文依赖性音节过渡方面起着至关重要的作用。
改进了可观察到的马尔可夫决策过程的矢量修剪
2.1矢量修剪。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。6 2.1.1矢量优势。。。。。。。。。。。。。。。。。。。。。。。。。。7 2.1.2修剪算法。。。。。。。。。。。。。。。。。。。。。。。。。15 2.2复杂性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。18 2.2.1线性编程的复杂性。。。。。。。。。。。。。。。。18 2.2.2简单矢量修剪算法的复杂性。。。。。。。。。19 2.2.3与凸赫尔问题的关系。。。。。。。。。。。。。。20 2.2.4平均案例复杂性。。。。。。。。。。。。。。。。。。。。。。21 2.3 POMDP的动态编程算法中的向量修剪。。。22 2.3.1 AI计划的POMDP的精确解决方案。。。。。。。。。。。。22 2.3.2增量修剪。。。。。。。。。。。。。。。。。。。。。。。。。24 2.4有界错误近似。。。。。。。。。。。。。。。。。。。。。。。25 2.4.1近似误差。。。。。。。。。。。。。。。。。。。。。。。。26 26 2.4.2近似矢量修剪。。。。。。。。。。。。。。。。27 2.4.3近似动态编程更新。。。。。。。。。。。。28
确定解决马尔可夫决策过程的有效方法
我们在这里考虑马尔可夫决策过程（MDPS），总体知识是已知的过渡和奖励功能。主要有两种有效的方法，可以使用基于模型的方法来精确求解MDP：动态编程或线性程序，如[11]中所述。确定解决MDP问题的最有效方法一直是文献研究的主题。有关全面的审查，请参阅[1]以及[11，9]。根据[11]，有人认为，基于价值的算法（例如价值迭代（VI）及其变体）并不像基于政策的方法那样实用，因此建议避免使用。另一方面，对基于策略的方法进行了比较下注政策迭代（PI）和政策迭代（PIM）尚不清楚，尽管后者似乎更有效[11]。早期的发现表明，线性编程方法不适合解决此类问题，这主要是由于求解器的速度慢[9]。尽管如此，文献中的比较研究有限，截至2007年，这个问题仍未解决[10]。随着线性编程求解器（例如Gurobi或cplex）的性能不断提高，以及并行化可能性的进步，对求解方法的定期重新评估变得相关。因此，在[1]的研究中，对线性编程和政策迭代的性能进行了比较分析，是对特定的马尔可夫决策过程（MDP）模型进行的，重点介绍了预期的总奖励标准。非零条目的1％。所考虑的MDP的特征是较大的状态空间（基数至少为2000），并且表现出各种动作选择（范围为2至500）。值得注意的是，所有过渡矩阵都高度稀疏，仅包含1％和0。先前的研究采用内点方法来解决线性程序。他们认为线性编程（LP）优于策略迭代（PI），并且对于特定模型而言，这显着。必须注意，[1]检查的模型类别在文献中很普遍，尤其是在给定状态下可能的转移数量的网络问题中。尽管如此，该研究仍具有一定的局限性。首先，即使这些方法可能会超过速度上的标准PI，但它并未考虑修改策略迭代及其变体。其次，研究中采用的LP解决方法仅提供政策而不是政策和价值观，就像动态编程一样。最后，其结论对更稀疏或其他操作标准的更广泛案例的概括性仍然不确定。这项工作的目的是找出线性编程在更一般的情况下是否仍然是一种有效的工具，并且在哪些条件（状态空间和行动空间维度，稀疏性）下找到使用动态编程仍然有效。
通过信号传播的马尔可夫模型
结构决定功能。然而，在人脑神经影像数据中很难观察到生物学中的这种普遍主题。在这里，我们通过假设大脑信号传播为基础结构上的马尔可夫过程来将结构联系起来。我们专注于一个称为通勤时间的度量：随机助行器从区域A到B然后返回A的平均步骤数。基于扩散MRI的白质的通勤时间表现出-0.26±0.08的平均±标准偏差长矛人相关性，与434个英国生物库中的功能性MRI连通性数据为-0.24±0.06，在400 HCP年轻的成年成年成人大脑扫描中的平均偏差。当两个数据集比较通勤时间和功能连接的主要贡献时，相关性增加到-0.36±0.14和-0.32±0.12。观察到的弱但可靠的相关性提供了神经元连通性和大脑功能之间的关系的证据，尽管受到限制。与广泛使用的通信措施（例如搜索信息和通信性）相比，相关性的相关性更强33％。当通勤时间与其特征值分解的主要功能连接性模式相关时，差异进一步扩大到5倍。总体而言，研究指出通勤时间的效用，以说明大脑功能基础的多突触（间接）连接性的作用。
隐藏的马尔可夫链和田地，在Riemannian歧管中进行观测
[1] R. J. Elliot，L。Aggoun和J.B. Moore。 隐藏的马尔可夫模型：估计和控制。 Springer Science+商业媒体，1995年。 [2] O. Capp´e，E。Moulines和T. Ryd´en。 在隐藏的马尔可夫模型中推断。 Springer Science+商业媒体，2005年。 [3] L. R. Rabiner。 关于隐藏的马尔可夫模型和语音识别中选定应用的教程。 （在语音识别中的读数中）。 Morgan Kaufmann Publishers，Inc，1990。 [4] R. Durbin，S。Eddy，A。Krogh和G. Mitchison。 生物序列分析。 剑桥大学出版社，1998年。 [5] S. Z，li。 图像分析中的马尔可夫随机字段建模。 Springer Publishing Company，2009年。 [6] A. Zare，M。Jovanovic和T. Georgiou。 湍流的颜色。 流体力学杂志，812：630–680，2017。 [7] B. Jeuris和R. Vandebril。 带有toeplitz结构块的块toeplitz矩阵的khler平均值。 SIAM关于矩阵分析和应用的杂志，37：1151–1175，2016。 [8] A. Barachant，S。Bonnet，M。Congedo和C. Jutten。 通过Riemannian几何形状进行多类脑部计算机界面分类。 IEEE生物培训工程交易，59：920–928，2012。 [9] O. Tuzel，F。Porikli和P. Meer。 通过分类的人行人进行探测。 IEEE关于模式分析和机器智能的交易，30：1713–1727，2008。 [10] S. Said，H。Hajri，L。Bombrun和B. C. Ve-Muri。 熵，2016年18月18日。B. Moore。隐藏的马尔可夫模型：估计和控制。Springer Science+商业媒体，1995年。[2] O. Capp´e，E。Moulines和T. Ryd´en。在隐藏的马尔可夫模型中推断。Springer Science+商业媒体，2005年。[3] L. R. Rabiner。关于隐藏的马尔可夫模型和语音识别中选定应用的教程。（在语音识别中的读数中）。Morgan Kaufmann Publishers，Inc，1990。[4] R. Durbin，S。Eddy，A。Krogh和G. Mitchison。生物序列分析。剑桥大学出版社，1998年。[5] S. Z，li。图像分析中的马尔可夫随机字段建模。Springer Publishing Company，2009年。[6] A. Zare，M。Jovanovic和T. Georgiou。湍流的颜色。流体力学杂志，812：630–680，2017。[7] B. Jeuris和R. Vandebril。带有toeplitz结构块的块toeplitz矩阵的khler平均值。SIAM关于矩阵分析和应用的杂志，37：1151–1175，2016。[8] A. Barachant，S。Bonnet，M。Congedo和C. Jutten。通过Riemannian几何形状进行多类脑部计算机界面分类。IEEE生物培训工程交易，59：920–928，2012。[9] O. Tuzel，F。Porikli和P. Meer。通过分类的人行人进行探测。IEEE关于模式分析和机器智能的交易，30：1713–1727，2008。[10] S. Said，H。Hajri，L。Bombrun和B. C. Ve-Muri。熵，2016年18月18日。Riemannian对称空间上的高斯分布：结构化协方差矩阵的统计学习。信息理论交易，64：752–772，2018。[11] E. Chevallier，T。Hose，F。Barbaresco和J. Angulo。对Siegel空间的内核密度估计，并应用于雷达处理。[12] A. Banerjee，I。Dhillon，J。Ghosh和S. Sra。使用Von Mises-Fisher分布在单位过度上进行促进。机器学习研究杂志，6：1345–1382，2005。
Markovian噪声的随机近似和加固学习的ODE方法
随机近似是一类算法，这些算法迭代，递增和随机更新，包括，例如，包括随机梯度下降和时间差学习。分析随机近似算法的一个基本挑战是建立其稳定性，即表明随机矢量迭代几乎肯定是有限的。在本文中，我们将著名的Borkar-Meyn定理从Martingale不同的噪声设定设置扩展到Markovian噪声设置，从而极大地提高了其在强化学习方面的适用性，尤其是在那些具有线性功能近似近似和资格率痕迹的O效性强化学习算法中。我们分析的核心是一些函数的变化变化速率的降低，这两种形式的强大定律和迭代对数定律的形式都暗示。关键字：随机近似，增强学习，稳定性，几乎确定的收敛性，资格跟踪