摘要 - 基于注意力的变压器的广泛采用和显着的计算资源成本,例如,视觉传输者和大型语言模型,驱动了对有效的硬件加速器的需求。尽管通常使用了电子加速器,但由于其高能量效率和超快速处理速度,人们对将光子学作为替代技术越来越兴趣。光子加速器已经证明了卷积神经网络(CNN)工作负载的有希望的结果,这些工作主要依赖重量 - 静态线性操作。但是,在有效地支持基于注意力的变压器体系结构方面,它们会遇到挑战,从而提出了有关光子学对高级机器学习任务的适用性的问题。主要障碍在于其不具体率在处理变压器固有的独特工作负载,即动态和全范围张量乘法。在这项工作中,我们提出了闪电转换器,第一个光功率,高性能和能量良好的光子变压器加速器。为了克服现有的光子张量核心设计的基本限制,我们引入了一种新型的动态动态光子张量核心DPTC,由基于干扰的光学矢量点发动机组成,支持高度平行,动态和全范围二元组乘积。此外,我们设计了一个专用的加速器,该加速器将我们的新型光子计算核与光子互连集成在一起,用于核心数据间广播,完全释放了光学功能。全面的评估表明,闪电转变器成就> 2。6×能量和> 12×延迟降低,并且与电子变压器加速器相比,能量成本最低,能量延迟产品低2至3个数量级,同时维持数字可靠的精度。我们的工作强调了光子学对于有效的硬件加速器的巨大潜力,尤其是用于高级机器学习工作负载,例如诸如变形金刚的大型语言模型(LLM)。我们的实施可在https://github.com/zhuhanqing/lightening-transformer上获得。
下丘脑室室核(PVN)受到周围周围核区(PNZ)的γ-氨基丁酸(GABA)的强烈抑制。由于谷氨酸会介导快速兴奋性传播,并且是GABA合成的底物,因此我们测试了其动态增强GABA抑制的能力。在雄性小鼠的PVN切片中,在离子型胶质胶质受体阻滞期间应用浴谷氨酸会增加PNZ诱发的抑制性突触后电流(EIPSC),而不会影响GABA-A受体AGO,而不会影响GABA-A的抑制作用,而不会影响GABA-A的抑制作用 - 含有或单向电流或单次通道的电导率,暗示了预设机械的机械。与这种解释一致,在GABA-A受体的药理饱和过程中,浴谷氨酸无法加强IPSC。突触前分析表明,谷氨酸不影响配对脉冲比,峰值EIPSC变异性,GABA囊泡回收速度或易于释放的池(RRP)大小。值得注意的是,谷氨酸 - GABA强化(GGS)不受代谢型谷氨酸受体阻断的影响,并在标准化到基线幅度时对外部Ca 2+分级。ggs是通过泛但非胶质胶质抑制谷氨酸摄取和抑制谷氨酸脱羧酶(GAD)(GAD)预防的,这表明通过神经兴奋性氨基酸转运蛋白3(EAAT3)(EAAT3)和糖脂转化的谷氨酸转化,表明对谷氨酸摄取的依赖。EAAT3免疫反应性强烈定位于推定的PVN GABA末端。高浴K +还诱导了GGS,这是通过谷氨酸囊泡耗竭预防的,这表明突触谷氨酸释放会增强PVN GABA的抑制作用。ggs抑制了PVN细胞燃料,表明其功能性明显。总的来说,PVN GGS通过与突触释放的谷氨酸合成的GABA合成的囊泡的明显“过度填充”来缓冲神经元激发。我们认为GGS可以防止持续的PVN激发和兴奋性毒性,同时有可能有助于应激适应和习惯。
线性动力系统(LDS)是在工程和科学中广泛使用的数学模型,以描述随着时间的推移而发展的系统。在本文中,我们研究了离散时间线性动力学系统各种决策问题的算法。我们的主要重点是模型检查问题,即在给定线性动力学系统和ω规范规范的情况下,决定LDS的轨迹是否满足规范。使用来自各种数学学科的工具,大多数
我们报告了YBA 2 Cu 3 O 6 + X薄膜的非线性Terahertz第三谐波生成(THG)的测量。与常规超导体不同,THG信号开始出现在正常状态下,这与广泛掺杂水平的伪gap的交叉温度t *一致。降低温度后,THG信号在最佳掺杂样品中显示出低于T C以下的异常。值得注意的是,我们直接观察到THG信号的实时波形中的节拍模式。我们阐述的是,HIGGS模式在T C下方开发的HIGGS模式与已经在T *下面开发的模式伴侣,从而导致能级分裂。但是,这种耦合效应在被压倒性的样品中并不明显。我们探索了观察到的现象的不同潜在解释。我们的研究提供了对超导性和伪群之间相互作用的宝贵见解。
状态的局部密度(LDOS)正在成为探索古典波拓扑阶段的强大手段。但是,当前的LDOS检测方法仍然很少,仅适用于静态情况。在这里,我们引入了一种通用的动力学方法,以基于手性密度和局部光谱密度的动力学之间的优雅连接来检测静态和Floquet LDOS。此外,我们发现Floquet LDOS允许测量Floquet胶质光谱并识别拓扑π模式。为例,我们证明,无论拓扑角模式是否在能隙,频带或连续的能量光谱中,都可以通过LDOS检测来普遍识别静态和浮动高阶拓扑阶段。我们的研究开设了一种新的途径,利用动力学来检测拓扑光谱密度,并提供了一种通用的方法来识别静态和Floquet拓扑阶段。
在安全 - 关键设置中运行的动态系统的控制器必须解释随机干扰。这种干扰通常被建模为动态系统中的过程噪声,并且常见的假设是潜在的分布是已知和/或高斯。但是,在实践中,这些假设可能是不现实的,并且可能导致真实噪声分布的近似值差。我们提出了一种新型控制器合成方法,该方法不依赖于噪声分布的任何明确表示。特别是,我们解决了计算一个控制器的问题,该控制器可在安全达到目标时提供概率保证,同时避免了状态空间的不安全区域。首先,我们将连续控制系统抽象为有限状态模型,该模型通过离散状态之间的概率过渡捕获噪声。作为关键贡献,我们根据有限数量的噪声样本来调整方案方法的工具,以计算这些过渡概率的近似正确(PAC)。我们在所谓的间隔马尔可夫决策过程(IMDP)的过渡概率间隔中捕获了这些界限。此IMDP具有用户指定的置信度概率,可抵抗过渡概率的不确定性,并且可以通过样本数量来控制概率间隔的紧密度。我们使用最先进的验证技术在IMDP上提供保证,并计算一个保证将这些保证置于原始控制系统的控制器。此外,我们开发了一种量身定制的计算方案,该方案降低了IMDP上这些保证的合成的复杂性。现实控制系统上的基准测试显示了我们方法的实际适用性,即使IMDP具有数亿个过渡。
神经群体活动的动态约束 Emily R. Oby* 1,2 、Alan D. Degenhart* 2,3 、Erinn M. Grigsby* 1,2,4,5 、Asma Motiwala 2,3 、Nicole T. McClain 1,2 、Patrick J. Marino 1,2 、Byron M. Yu** 2,3,6 、Aaron P. Batista** 1,2 1 匹兹堡大学生物工程系;美国匹兹堡 2 认知神经基础中心;美国匹兹堡 3 卡内基梅隆大学电气与计算机工程系;美国匹兹堡 4 匹兹堡大学物理医学与康复系;美国匹兹堡 5 匹兹堡大学康复与神经工程实验室;美国匹兹堡 6 卡内基梅隆大学生物医学工程系;美国匹兹堡 * 表示共同第一作者 ** 表示共同资深作者和通讯作者 通信地址:aaron.batista@pitt.edu, byronyu@cmu.edu 摘要 神经活动随时间展开的方式被认为是大脑感觉、运动和认知功能的核心。网络模型长期以来一直认为大脑的计算涉及由底层网络塑造的活动时间进程。从这个观点可以预测,活动时间进程应该很难被违反。我们利用脑机接口 (BCI) 挑战猴子违反我们在运动皮层观察到的自然发生的神经群体活动时间进程。这包括挑战动物以时间逆转的方式穿越神经活动的自然时间进程。当直接受到挑战时,动物无法违反神经活动的自然时间进程。这些结果为以下观点提供了实证支持:在大脑中观察到的活动时间过程确实反映了它们所实现的底层网络级计算机制。 简介神经群体活动的时间演变,也称为神经动力学,被认为是许多大脑功能的基础,包括运动控制 1 、感觉知觉 2-4 、决策 5-8 、时间安排 9,10 和记忆 11,12 等 13 。例如,决策可能是由神经活动汇聚到点或线吸引子 6-8 形成的;记忆可以通过神经活动放松到点吸引子 12,14 来恢复;手臂运动可能涉及表现出旋转动力学的神经活动 1 。网络模型 6-8,10,14-17 和大脑 1,2,6-8,10 产生的时间结构化群体活动之间的相似性为大脑如何通过动力学实现计算提供了诱人的证据 18-22 。在网络模型中,活动的时间演变由网络的连通性 23 决定。也就是说,每个节点在某一时间点的活动由网络的活动决定。
我们如何判断两个神经网络是否在特定计算中使用相同的内部过程?这个问题与神经科学和机器学习的多个子领域有关,包括神经人工智能、机械可解释性和脑机接口。比较神经网络的标准方法侧重于潜在状态的空间几何形状。然而,在循环网络中,计算是在动态层面实现的,两个执行相同计算且具有相同动态的网络不必具有相同的几何形状。为了弥合这一差距,我们引入了一种新颖的相似性度量,可在动态层面比较两个系统,称为动态相似性分析 (DSA)。我们的方法包含两个部分:利用数据驱动动态系统理论的最新进展,我们学习一个高维线性系统,该系统可准确捕捉原始非线性动力学的核心特征。接下来,我们使用 Procrustes 分析的新颖扩展来比较通过此嵌入的不同系统,该扩展解释了矢量场在正交变换下如何变化。在四个案例研究中,我们证明了我们的方法可以解开共轭和非共轭循环神经网络 (RNN),而几何方法则存在不足。我们还表明,我们的方法可以以无监督的方式区分学习规则。我们的方法为比较分析神经回路中计算的基本时间结构打开了大门。
摘要:在许多应用中广泛探索了轨道角动量(OAM)光的空间自由度,包括电信,量子信息和基于光的微型消除。能够分离和区分不同横向空间模式的能力称为模式排序或模式消除,并且在此类应用程序中恢复编码的信息至关重要。理想的D模式分散器应该能够忠实地区分不同的D空间模式,具有最小的损失,并具有D输出和快速响应时间。所有以前的模式分子都依赖于散装的光学元素,例如空间光调节器,如果要与光纤系统集成在一起,它们将无法快速调整,并且会造成其他损失。在这里,我们提出并在实验上证明了我们的最佳知识,这是使用超快动态可重构性的第一种全纤维模式分类的全纤维方法。我们的方案首先分解了OAM模式内纤维线性偏振(LP)模式,然后经过对照法规的重组以确定拓扑电荷,从而正确对OAM模式进行了分类。此外,我们的设置也可用于执行OAM模式的超快路由。这些结果显示了一种新颖的光纤形式的光空间模式排序,可以很容易地用于经典和量子信息处理中的许多新应用。关键字:轨道角动量,光子灯笼,光纤,空间除法■简介
本文提出一种用于模拟脑内代谢活动的动态光学模体,建立了控制电压与物质浓度的线性等效模型。以环氧树脂为基质材料,纳米碳粉和二氧化钛粉末分别作为吸收和散射掺杂剂,在基础模体表面采用液晶薄膜作为压控光强调节器,实现固-固动态光学模体。该动态模体可模拟近红外光谱(NIRS)信号,采样率高达10 Hz,对1 μ mol/l范围内的氧合血红蛋白和脱氧血红蛋白浓度最大模拟误差分别为7.0%和17.9%。与同类固体仿生模体相比,可调节的模拟物质浓度范围扩大了一个数量级,满足了大多数脑部NIRS信号的模拟要求。