在计算神经科学的许多领域中,神经元通常被分析为二元电化学开关(DeWeese 等人,2003 年;Victor,2006 年;Jensen 等人,2013 年;Mayfield,2013 年;Sterling and Laughlin,2015 年;Gupta and Bahmer,2019 年)。在这个抽象层次上,脉冲神经元可以被视为具有两个稳定位置的记忆系统。神经元可能正在发射,在这种情况下,其状态通常标记为 1,或者神经元可能正在静止,在这种情况下,其状态通常标记为 0。由于神经元发射动作电位的概率受到许多不同的未知因素的影响(例如神经元的温度、其发射阈值、其与突触前输入的连接程度等),因此,在香农的通信理论中,可以将发射状态和静止状态之间的区别作为二元随机变量进行研究。因此,通常隐含地假设单个动作电位的香农熵为
熵是一个非常多面的物理量。从热力学开始,相关概念已被引入许多不同的领域,如统计力学、信息论、动力系统理论、计算理论和量子理论。学术界对信息的兴趣在过去几十年中也日益增长,并被广泛认为在我们理解世界和我们与世界的关系中发挥着至关重要的作用。随着这两个概念的并行发展,它们的相互联系有望揭示出关于世界的有趣和令人惊讶的事情。本文将探讨熵和信息的一些主要主题以及它们之间联系的各种性质。本文采用准历史方法来研究这个主题,追溯这两个概念在不同时间的起源、发展和交集。因此,我们先从热力学中的熵,即其原始化身开始,然后再讨论统计力学中的熵(玻尔兹曼和吉布斯)。人们试图用分子的微观力学来简化或解释宏观热力学行为,这导致了统计力学中熵的各种定义。正是在这里,熵与信息的联系首次显现出来。然后我们继续讨论香农信息,这是通信理论中一个精确定义的数学量,它与统计力学中的熵在形式和概念上有很大相似之处。直到通信理论为我们提供了精确的信息数学表征之前,所使用的信息概念一直是粗略的、普通的语言意义上的信息,即我们学习的东西或我们用来增加知识的东西。因此,通过香农信息度量,我们能够真正评估熵和信息之间精确的形式和概念联系。埃德温·杰恩斯 (Edwin Jaynes) 对这个项目做出了重大贡献,他提出了一种看待经典统计力学的新方法,以香农信息为基础。20 世纪 60 年代,罗尔夫·兰道尔 (Rolf Landauer) 在计算理论的背景下提出了这方面的进一步发展。他提出,计算机在处理信息时不可避免地会产生熵。本文最后总结了更多现代和当前的研究课题,探索了量子理论和量子计算中的熵和信息。
摘要 20 世纪中叶,两门新的科学学科强势崛起:分子生物学和信息通信理论。起初,两者的相互影响十分深刻,以至于遗传密码这一术语被普遍接受用来描述 mRNA 三联体(密码子)作为氨基酸的含义。然而,如今,这种协同作用并未充分利用这两门学科的飞速发展,而是带来了更多的挑战而不是答案。这些挑战不仅具有重大的理论意义,而且代表了下一代生物学不可避免的里程碑:从个性化基因治疗和诊断到人工生命,再到生物活性蛋白质的生产。此外,这一问题与理论生物学所需的范式转变密切相关,这种转变早已开创,需要生物学领域以外的学科共同做出贡献。信息作为概念隐喻的使用需要转化为定量和预测模型,这些模型可以通过经验检验并以统一的视角进行整合。要成功完成这些任务,需要采取广泛的多学科方法,包括人工生命研究人员来解决这一问题。
摘要 — 大脑中信息表示是连续的还是离散的是一个尚未解决的基本问题。从历史上看,大多数分析都假设连续表示,而不考虑离散的替代方案。我们的工作探索了这两种表示的合理性,从通信系统工程的角度回答了这个问题。利用香农的通信理论,我们假设大脑中的信息以离散形式表示。我们使用两种方法来解决这个假设。首先,我们确定大脑的基本通信要求。其次,我们估计连续信息表示的符号错误概率和信道容量。我们的工作得出结论,信息不能使用连续表示在大脑中可靠地传达和表示——它必须采用离散形式。这是与传统和当前观点的主要区别。我们将这个离散结果应用于 4 个主要的神经编码假设,并说明了离散 ISI 神经编码在分析电生理实验数据中的应用。我们进一步假设并说明了韦伯定律和离散神经编码之间合理的直接联系。最后,我们概述了关于离散神经编码的一些关键研究问题。
自主控制系统必须在工厂和环境中长时间良好的不确定性下表现良好,并且它们必须能够在没有外部干预的情况下弥补系统故障。这种自主行为是高级系统的非常理想的特征。一个自主型拖钓者对植物和环境的变化提供了高级适应。为了实现自主权,用于控制系统设计的方法应基于最先进的常规控制,识别,估计和通信理论以及(ii)决策符号方法,例如在计算机科学中以及在艺术智能领域(al)(al)(al)。除了监督和调整控制算法外,自主控制器还必须提供对失败的高度宽容。为了确保系统可靠性,必须首先检测,隔离和确定故障,并在认为必要时必须设计新的控制法。自主控制器必须能够计划要完成复杂任务的必要控制动作顺序。它必须能够与其他系统以及操作员连接,并且可能需要学习功能以在运行时提高其性能。
与当前的通信理论不同,该理论将信息量视为消息统计稀缺性的度量,概述了语义信息理论,其中给定语言系统中句子所携带的信息概念被视为与该句子的内容同义,以某种方式规范化,语义信息量的概念通过该内容的各种度量来阐明,所有度量均基于涵盖内容的逻辑概率函数。绝对度量和相对度量是有区别的,因此 D 函数适用于仅与演绎推理相关的环境,而 I 函数适用于归纳推理足够的环境。在研究的两种主要信息量类型中,一种是 cont,对于内容排他性的句子是加性的,另一种是 inf,对于归纳独立的句子是加性的。后者在形式上类似于传统的信息度量函数。研究了各种信息量估计函数,从而得到了当前传播理论中概念和定理的广义语义相关性。初步定义了语义噪声的概念,以及语言系统概念框架的效率和冗余性。建议语义信息是一个比其传播对应概念更容易应用于心理学和其他研究的概念。
1994年,在庆应义塾大学研究生院理工学研究科完成计算机科学博士学位,同年加入日本钢管株式会社。他于 1995 年从同一系获得学位。 1996年加入庆应义塾大学媒体网络总部。 1998年起担任该大学系统设计工程系助教。在担任专任讲师、副教授的同时,还担任东京大学兼职讲师、维也纳技术大学客座教授、信州大学特任教授。自2023年起,担任庆应义塾大学系统设计与管理研究生院教授。他的研究兴趣包括实时通信、信息和通信理论、人机界面和机器学习。博士学位(工程学)。 ■山尾宗介 2013年毕业于东北大学工学部信息情报系统科。 2015年于东北大学研究生院信息科学研究科取得信息基础科学硕士学位。 2015年加入富士通实验室有限公司。他目前是富士通实验室有限公司人工智能实验室人类推理 CPJ 的首席研究员。他的研究兴趣包括真实世界建模、AR/VR 的 3D 计算机视觉、人体运动感知以及使用大规模多模态模型的 AI 辅助系统。
科罗拉多大学丹佛分校 NIST PREP 项目博士后职位空缺 NIST 组织(部门/组):计算和通信理论组 该职位是美国国家标准研究所 (NIST) 专业研究经验 (PREP) 计划的一部分。NIST 认识到其研究人员可能希望与学术机构的研究人员合作开展共同感兴趣的特定项目,因此要求此类机构必须是 PREP 奖的获得者。PREP 计划要求来自广泛背景的员工在许多领域从事科学研究。担任该职位的员工将执行支持合作科学研究的技术工作。 职位和任务:该职位涉及量子信息科学研究。主要任务是开发应用量子信息科学的理论和方法。这可能包括量子表征协议的理论和分析、开发此类协议、研究不同随机化协议和电路的行为以及指定用于比较量子和经典计算系统性能的测试问题。 主要职责包括但不限于: 物理学或相关领域的博士学位。 具有理论量子信息科学研究经验。 熟悉量子信息理论及其应用。 能够实施和模拟模型。 具有良好的口头和书面沟通能力。 NIST 赞助者姓名:Emanuel Knill 任职级别:博士后
本研究阐明了一种具有五个非线性项的新型三维抖动系统。利用 Lyapunov 指数分析,我们确定了新型抖动系统具有混沌性和耗散性。我们确定了新型抖动系统经历了霍普夫分岔。我们观察到新型抖动系统具有多稳定性,因为它表现出共存的混沌吸引子。多稳定性是混沌系统的一种特殊属性,这意味着对于同一组参数值但不同的初始状态,存在共存的吸引子。我们表明,新型混沌抖动系统表现出具有共存混沌吸引子的多稳定性(Zhang 等人,2020 年;Zhou 等人,2020 年)。我们使用 Multisim 版本 13 设计了所提出的抖动系统的电子电路仿真。我们还使用 Multisim 对抖动电路信号进行了功率谱密度分析,证实了抖动电路中的混沌。混沌系统的电路设计对实际应用很有用(Yildirim 和 Kacar,2020 年;Wang 等人,2021 年;Rao 等人,2021 年)。图像加密是通信理论中的一个重要研究领域,旨在保护图像免受任何未经授权的用户访问 Abd-El-Atty 等人(2019 年)。图像加密是一种广泛使用的图像保护技术,指的是从
Fisher [ 1 ] 和 Shannon [ 3 ] 的信息论 (IT) [ 1 – 8 ] 已成功应用于分子电子结构的熵解释 [ 9 – 11 ]。人们研究了一些信息原理 [ 9 – 16 ],并对分子中原子的分子电子密度片段 (AIM) 进行了研究 [ 12 , 16 – 20 ],为 Hirshfeld 的直观股东分裂提供了 IT 基础 [ 21 ]。人们从分子中的电子通信中提取了熵键多重性的模式[9-11,22-32],探索了分子中的信息分布[9-11,33,34],并将非加性 Fisher (梯度) 信息[1,2,9-11,35,36]与密度泛函理论 (DFT) [40-45] 的电子局域化函数 (ELF) [37-39] 联系起来。该分析制定了用于定位化学键的逆梯度 (CG) 探针[9-11,46],而利用分子信息系统中的“级联”传播的化学键轨道通信理论 (OCT) 已确定了 AIM 之间的桥相互作用[11,47-52],通过中间轨道实现。分子系统的量子电子态及其动力学由薛定谔方程 (SE) 确定。这些 (复) 波函数由其模量和相位分量指定,它们产生系统电子的概率和电流分布。这些物理属性分别反映了“存在”和“成为”的互补经典 (静态) 和非经典 (动态) 结构,它们都对状态总熵和信息内容有所贡献。研究它们的连续性关系以建立这些属性的净产量并确定其来源的起源是有意义的。在量子力学 (QM) 中,波函数相位或其梯度决定了概率密度的有效速度,从而产生了非经典信息和熵补充