算法信息理论是将信息理论和概率思想应用于递归功能理论的框架。算法信息理论的主要概念之一是有限的二进制字符串s的程序大小复杂性(或kolmogorov复杂性)h(s),它定义为通用自我自我阐述的杜松疲劳的最短二进制程序的长度。根据定义,可以将h(s)视为单个有限二进制字符串s的信息内容。实际上,算法信息理论正是经典信息理论的形式特性(参见Chaitin [3])。程序大小复杂性的概念在表征有限或有限的二进制字符串的随机性方面起着至关重要的作用。在[3]中,Chaitin引入了停止概率ω,作为有限二进制字符串的随机示例。他的ω被定义为通用自我启动的图灵机U停止的概率,并且在算法 - MIC信息理论的当数学发展中起着核心作用。ω的基础两个膨胀的第一位解决方案,解决了一个不大于n的程序的停止问题。通过此属性,ω的基础两张扩展显示为有限的二进制字符串。在[7,8]中,我们通过
脑电图(EEG)是一种广泛使用的神经影像学技术,可记录大脑的电活动。EEG分析为大脑动力学和对神经过程的理解提供了宝贵的见解。 由于脑电图数据分析在很大程度上依赖于信号处理和统计分析,因此拥有一个可靠的脑电图数据的稳健框架至关重要。 用于脑电图数据分析的一个非常有用的框架是使用算法复杂度度量。 算法复杂性是对给定数据序列(例如EEG波形)的复杂性的度量。 它提供了一种量化脑电图数据中的随机性和可预测性量的方法。 以及传统的复杂性度量,例如样本熵,Hurst指数,多尺度熵等,还有一种涉及Kolmogorov-Chaitin算法复杂性的方法,这是一种用于测量一系列信息复杂性的数学方法。 它基于这样的想法,即无法通过更简单的算法压缩或表示复杂的信息字符串。 使用Kolmogorov-Chaitin复杂性的优点包括其客观性,非线性,捕获内容和鲁棒性的能力。 本文介绍了以后方法的基础知识,并显示了如何用于脑电图数据上的机器学习。EEG分析为大脑动力学和对神经过程的理解提供了宝贵的见解。由于脑电图数据分析在很大程度上依赖于信号处理和统计分析,因此拥有一个可靠的脑电图数据的稳健框架至关重要。用于脑电图数据分析的一个非常有用的框架是使用算法复杂度度量。算法复杂性是对给定数据序列(例如EEG波形)的复杂性的度量。它提供了一种量化脑电图数据中的随机性和可预测性量的方法。以及传统的复杂性度量,例如样本熵,Hurst指数,多尺度熵等,还有一种涉及Kolmogorov-Chaitin算法复杂性的方法,这是一种用于测量一系列信息复杂性的数学方法。它基于这样的想法,即无法通过更简单的算法压缩或表示复杂的信息字符串。使用Kolmogorov-Chaitin复杂性的优点包括其客观性,非线性,捕获内容和鲁棒性的能力。本文介绍了以后方法的基础知识,并显示了如何用于脑电图数据上的机器学习。
Kolmogorov 复杂度的研究起源于 [Kolmogorov 1965] 的工作。[Levin 1974] 和 [Chaitin 1975] 引入了 Kolmogorov 复杂度的规范自界定形式。[Solomonoffi1964] 引入了通用概率 m。有关本文中使用的概念的历史的更多信息,请参阅教科书 [Li and Vit´anyi 2008]。本文的主要定理是一个不等式,它具有字符串与停机序列的互信息。有关该术语的更多背景知识,请参阅 [Vereshchagin and Vit´anyi 2004b]。引理 4.1 使用了随机性的概念。如果字符串是简单概率分布的典型,则它是随机的。[Shen 1983, 1999; V'Yugin 1987]。随机性是算法统计的一个研究领域,可以在[Vereshchagin and Vit´anyi 2004a;Vereshchagin and Vit´anyi 2010;Vereshchagin 2013;Vereshchagin and Shen 2016]中找到。
柯尔莫哥洛夫-所罗门诺夫-柴廷(Kolmogorov,简称 Kolmogorov)复杂度由 Solomonoff [ 1 ] 和 Kolmogorov [ 2 ] 独立提出,后来柴廷 [ 3 ] 也提出了这一复杂度。该复杂度基于可以模拟任何其他图灵机的通用图灵机的发现 [ 4 , 5 ]。单个有限字符串的柯尔莫哥洛夫复杂度是能够正确生成该字符串作为输出的通用图灵机的最短程序的长度,也是对字符串所含信息量的度量。已经证明,虽然存在多种图灵机,但最短程序的长度是不变的,在底层图灵机的选择下,其差异最多为一个加法常数 [ 6 ]。柯尔莫哥洛夫复杂度理论广泛应用于问答系统 [ 7 ]、组合学 [ 8 ]、学习理论 [ 9 ]、生物信息学 [ 10 ] 和密码学 [ 11 , 12 ] 等领域。1985 年,Deutsch [ 13 ] 引入量子图灵机作为量子计算机的理论模型。量子图灵机扩展了经典图灵机模型,因为它们允许在其计算路径上发生量子干涉。Bernstein 和 Vazirani [ 14 ] 表明量子图灵机在近似意义上具有通用性。最近,一些研究者提出了一些柯尔莫哥洛夫复杂度的量子版本。Vitányi [ 15 ] 提出了量子柯尔莫哥洛夫复杂度的定义,它度量近似量子态所需的经典信息量。Berthiaume 等人 [ 16 ] 提出了一种基于柯尔莫哥洛夫复杂度的量子柯尔莫哥洛夫复杂度定义。 [16] 提出了一种新的量子比特串量子柯尔莫哥洛夫复杂度定义,即通用量子计算机输出所需字符串的最短量子输入的长度。Zadeh [17] 提出了模糊计算的第一个公式,他基于图灵机和马尔可夫算法的模糊化,定义了模糊算法的概念。随后,Lee 和 Zadeh [18] 定义了模糊语言的概念。Santos [19] 证明了模糊算法和模糊图灵机之间的等价性。接下来,Wiedermann [20] 考虑了模糊计算的可计算性和复杂性。利用 Wiedermann 的工作,Bedregal 和 Figueira [21] 证明了不存在可以模拟所有模糊图灵机的通用模糊图灵机。随后,李[22,23]研究了模糊图灵机的一些变体。他证明了
算法信息概念的原始表述独立于R.,J。Solomonoff [10],A。N. Kolmogorov [11]和G. J. Chaitin [12]。二进制字符串X的信息内容I(x)定义为最小程序的大小(二进制数字),用于计算x的规范通用计算机U。(计算机u是通用的,意味着对于任何其他计算机,都有一个前缀!l,使得iLi使您执行与程序P制作M完全相同的计算。)两个字符串的联合信息i(x,y)被定义为使您计算两者的最小程序的大小。以及给定y的条件或相对信息l(x 1 y)定义为最小程序的大小,供u从y计算x ..标准计算机U的选择最多在这些概念的数值中最多引入0(1)的不确定性。(o(f)读取“顺序o(f”,并表示一个函数,其绝对:ute值由恒定时间f。)