摘要 深度学习 (DL) 方法在多个复杂任务上取得的成功大大提高了人们对其学习复杂脑成像数据的细微特性以及扩展到大型数据集的能力的期望。也许是为了应对这种膨胀,最近的批评性评论不利地将 DL 与用于分析脑成像数据的标准机器学习 (SML) 方法进行了比较。然而,他们的结论是基于预先设计的特征,这剥夺了 DL 的主要优势:表征学习。在这里,我们对此进行了评估,并展示了表征学习对于 DL 在脑成像数据上的表现的重要性。我们报告了在 12,314 张结构性 MRI 图像上进行的十向年龄和性别分类任务中对 SML 方法与 DL 进行大规模系统比较的结果。结果表明,如果按照流行的 DL 实践实施和训练 DL 方法,则与 SML 方法相比,DL 方法有大幅改进的潜力。我们还表明,尽管 DL 方法更复杂,但其扩展性特别好,在相对计算时间中呈现出较低的渐近复杂度。我们的分析表明,随着训练样本量的增长,性能改进会趋于饱和,但始终表现出显著更高的性能。我们还提供了证据,表明 DL 的卓越性能主要归功于出色的表示学习能力,并且 SML 方法在对经过训练的 DL 模型生成的表示进行操作时也可以表现得同样出色。最后,我们证明 DL 嵌入跨越了可理解的投影谱,并且 DL 始终定位有判别力的大脑生物标志物,这为预测相关性估计的稳健性提供了一个例子。我们的研究结果强调了大脑成像数据中存在非线性,DL 框架可以利用这些非线性来生成用于表征人脑的卓越预测表示,即使在当前可用的数据量下也是如此。
一、引言作为在大学从事人工智能 (AI) 研究的人,你与企业 AI 研究巨头(如 Googe DeepMind、OpenAI 和 Meta AI)建立了复杂的关系。每当你看到其中一篇论文,它训练某种巨大的神经网络模型来做一些你甚至不确定神经网络是否可以做的事情,毫无疑问地推动了最先进的技术并重新配置了你对可能性的看法,你就会感到矛盾。一方面:这非常令人印象深刻。你推动人工智能向前发展,真是太好了。另一方面:我们怎么可能跟上?作为一名人工智能学者,领导一个实验室,里面有几名博士生和(如果你幸运的话)一些博士后研究员,也许你的实验室里有几十个图形处理单元 (GPU),这种研究根本无法进行。需要明确的是,情况并非总是如此。就在十年前,如果你有一台不错的台式电脑和互联网连接,你就拥有了与最优秀的研究人员竞争所需的一切。开创性的论文通常是由一两个人撰写的,他们在常规工作站上运行所有实验。指出这一点对于过去十年内进入研究领域、需要大量计算资源的人来说尤其有用。如果我们从深度学习 [ 9 ] 中学到了一件事,那就是扩展是有效的。从 ImageNet [ 19 ] 竞赛及其各届获奖者到 ChatGPT、Gato [ 17 ] 以及最近的 GPT-4 [ 1 ],我们已经看到,更多的数据和更多的计算可以产生更好的定量结果,甚至通常是更好的定性结果。(当你读到这篇文章时,那份最近的人工智能里程碑列表可能已经过时了。)当然,学习算法和网络架构也有所改进,但这些改进主要在大规模实验的背景下有用。 (Sutton 谈到了“苦药丸”,指的是当有更多计算可用时,扩展性好的简单方法总能获胜 [ 22 ]。)如今,学术研究人员无法实现这种规模。据我们所知,普通研究人员可用的计算量与保持竞争力所需的计算量之间的差距每年都在扩大。这在很大程度上解释了许多学术界的人工智能研究人员对这些公司的不满。健康
在工业用例中,重型移动机器通常用于农业和移动地球。自动化这些机器可能是一项复杂的任务,鉴于用例,自动化水平和环境,可以引入许多不同的建筑问题。在设计自主单元时,可以遵循许多导航和控制范例,例如反应性,审议,基于行为和混合动力。本文探讨了在托盘拾取的用例中实现混合控制体系结构。目的是识别导航系统的不同组件,并以分层体系结构的形式将其分为混合导航系统,该架构可以采用决策层进行广义任务部署。决策可以与许多工具一起使用,例如Petri-Nets和有限的州机器。最近几年从游戏行业部署了一种称为行为树的事物,试图通过利用最小的过渡规则和树结构中的节点之间的状态来提高开发系统组件的可重复性。论文的目的是使用ROS2作为中间件解决方案部署系统,以通过ROS2平台应用程序分发馈回馈电和命令。的目的还是在ROS2中不同解决方案的大生态系统中识别算法软件包和框架,这可以使部署自动企业重型移动机系统更快,更容易。机器控制器暴露了行为树节点可以利用的接口来实现动作的基础。与分层体系结构设计,ROS2和行为树结合使用,可以识别机器的原语和动作,并将它们绑定到机器的功能上,以便在行为树中使用简单的行为使用更复杂的任务部署(例如托盘拾取),并具有分层的体系结构。最后,在论文中,对实现系统体系结构中的成功托盘进行关键组件的性能进行了评估。由于该应用程序主要取决于路径以下的性能,定位,状态估计和操纵器轨迹跟踪,因此它们正在评估中。最后,鉴于Tar-Get Machine中的分布式控制系统中的体系结构和系统部署,在托盘采摘系统中进行了成功的尝试。但是,鉴于系统中的速率主题较高,RCLPY实现表现出CPU性能的性能瓶颈和差可扩展性。
通讯作者* 博士研究员,威斯康星大学密尔沃基分校生物医学工程系,电子邮箱:bozorgp2@uwm.edu 简介 经典分子动力学 (MD) 依靠原子间势(力场)严格模拟固体和流体的热力学、机械和化学特性。该势根据原子位置和其他属性定义系统的能量。早期应用包括研究固体中的辐射效应和简单流体的动力学,凸显了该方法的多功能性 [1-3]。自诞生以来,分子动力学已广泛应用于物理、化学、生物、材料科学和相关领域。在水净化等纳米技术领域 [4],分子动力学还可以在原子水平上理解纳米粒子的行为方面发挥关键作用,有助于深入了解纳米粒子的结构稳定性、表面属性以及与周围分子的相互作用。它将系统建模为粒子(通常是原子)的集合,并通过在多个时间步长上对牛顿方程进行数值积分来计算它们的时间演化。原子上的力由定义势函数的解析方程的导数决定。这种方法计算效率高,特别是对于分子液体和固态金属,可以准确捕捉电子介导的原子相互作用。标准工作站上的 MD 代码可以高效模拟具有 10,000 到 100 万个原子的系统,覆盖皮秒到微秒内重要物理和化学现象的相关长度和时间尺度 [5-8]。MD 模拟的流行可以归因于它们与摩尔定律和广泛并行性推动的显著计算进步的兼容性。在过去的几十年里,传统 CPU 和最近的 GPU 都经历了大幅提速。例如,1988 年,8 处理器的 Cray YMP 实现了 2 千兆次浮点运算的 Linpack 速度,而在 2012 年,单个具有 16 个内核的 IBM Blue Gene/Q CPU 达到了 175 千兆次浮点运算。最大的 BG/Q 机器 Sequoia 拥有近 100,000 个 CPU。预计在未来一两年内,基于 GPU 的超级计算机将达到百亿亿次浮点运算 (10−18) 的速度,这意味着最强大的超级计算机在短短 30 年内速度将提高 5 亿倍。这一趋势还转化为台式机和小型集群的速度提升,可供更广泛的科学计算社区使用 [9, 10]。MD 的计算效率源于其每个时间步的成本线性扩展为 O(N),对于具有短程相互作用的模型,这是由于在指定的截止距离内相邻原子的数量有限。即使对于长程库仑相互作用,MD 也表现出有效的扩展性,对于基于 FFT 的方法(如粒子网格 Ewald),其成本为 O (N log N)
什么对学习创造力和艺术融合的农村教师的在线专业发展具有影响力?在本文中,我们描述了一项混合方法研究的结果,该研究在 2019-2020 年对美国西北地区的 K-12 教师进行了新的混合在线和面对面教师培训体验测试。该研究侧重于农村教育工作者的创造性发展及其将创造力和艺术融入整个课程的准备。农村学校在为教师提供持续的专业学习机会方面面临挑战,特别是在创造力和艺术融合等复杂领域。然而,由于各种障碍,许多教师在这一领域的专业学习机会要么缺乏,要么很少。结果揭示了有关网络学习方法的创新,这些方法可用于教授复杂的主题和实践,例如创造力,从而使在线学习更具体验性和关联性,从而提高相关性和参与度。正如其他人所发现的那样,网络学习可以提供变革性的体验。除了详细的研究结果外,本文还介绍了几种扩展的设计原则和具体技术,以使在线学习体验富有创意和扩展性。对实践或政策的启示: • 对于教育者来说,网络化学习应该是互动的、自我反思的和创造性的,并使用多样化的媒体和模式。 • 专业发展开发人员应专注于教学常规,帮助教师建立对自身技能建设的信心。 • 专业发展开发人员应将创造性参与框架视为教师培训设计的指南。 • 在线专业发展的教师成果应以群组为基础,以建立同伴联系,并鼓励创造性的冒险和协作。 关键词:网络化学习、混合专业发展、在线培训、创造力、创造性参与、心理安全、混合方法 简介 根据观察研究,大多数 K-12 教育环境都缺乏创造力(Katz-Buonincontro 和 Anderson,2018)。学者们指出,在大多数重相同轻差异的教育环境中,创造力都面临着障碍和挑战(Glaveanu 和 Beghetto,2017)。教师对教学和学习中的创造力有着坚定的、似乎不可动摇的信念(Bereczki & Kárpáti,2018),直到最近,人们还不清楚这些信念和价值观是否可以通过短期专业学习经历来改变(RC Anderson、Katz-Buonincontro、Bousselot 等人,2022)。教师通常认为创造力是不可接近的,或者只是分散了他们对教学目标和课堂秩序的注意力(Kaufman & Beghetto,2013)。此外,教师可能认为它更像是一个动手、基于项目的学习或艺术课程的领域,而不是传统的内容领域,例如
根据侵入性,BCI 主要分为两类。非侵入式 BCI 无需手术即可从外部刺激大脑。尽管某些技术可以针对大脑的较小区域,但非侵入式 BCI 可以覆盖大脑的较大区域。相比之下,侵入式系统可以应用于小区域,甚至具有单神经元分辨率,但会带来更高的生理风险(Ramadan 和 Vasilakos,2017 年)。基于 BCI 的相关性和扩展性,近年来出现了新的技术和公司,专注于开发新的侵入式系统,以神经元粒度刺激大脑。Neuralink 就是一个例子(Musk 和 Neuralink,2019 年),这家公司设计了颠覆性的 BCI 系统来记录神经元级别的数据,目前正致力于覆盖刺激功能。此外,神经尘埃(Seo 等人,2013)是一种由数百万个位于大脑皮层中的纳米级可植入设备组成的架构,可以进行神经记录。神经尘埃的演变是无线光遗传学纳米网络设备 (WiOptND)(Wirdatmadja 等人,2017),它使用光遗传学来刺激神经元。尽管这些方法很有前景,但 Bernal 等人 (2020) 的作者表明,它们存在漏洞,可能允许攻击者控制两个系统并执行恶意刺激动作,从而改变自发的神经元信号。根据攻击的覆盖范围(就大脑区域和受影响的神经元数量而言),网络攻击者可能会造成永久性脑损伤,甚至导致患者死亡。在同一方向上,Bernal 等人 (2021) 发现 BCI 的网络安全领域还不够成熟,非复杂的攻击可能会造成重大损害。总之,攻击者可以利用 BCI 漏洞来利用这些有前途的神经刺激技术。以这些研究的发现为动机,本文重点关注针对旨在改变神经元行为的网络攻击的稀缺研究。此外,还需要新的方法来衡量和理解这些攻击的影响。特别是,这些问题具有特殊的意义,因为攻击可能会恶化或重现常见神经退行性疾病的影响(Bernal 等人,2021 年)。为了改进以前的挑战,这项工作的主要贡献是定义和实施一种新的神经元网络攻击,即神经元干扰网络攻击 (JAM),重点关注神经活动的抑制。本研究旨在探索抑制性神经元网络攻击对大脑的影响。然而,文献中缺乏全面的神经元拓扑结构,因此,我们模拟了小鼠视觉皮层的一部分,放置在大脑的枕叶区域,定义了小鼠试图离开特定迷宫的用例。神经元拓扑是使用经过训练以解决此特定用例的卷积神经网络 (CNN)(Géron,2019)构建的。这项工作的第二个贡献是评估了 JAM 网络攻击对特定场景中的神经元和人工模拟造成的影响。为了进行分析,我们使用了现有指标,但也定义了一组新指标,得出结论:JAM 网络攻击可以改变自发的神经元行为,并迫使小鼠做出不稳定的决定以逃离迷宫。
该过程的计算成本可能很高,特别是对于高维问题以及需要非结构化网格时,例如为了解释局部不规则行为。然后可以使用各种数值方法(例如有限元 (FEM)、有限差分 (FDM) 或有限体积 (FVM))求解该离散方案。但即使是这些方法对于大型复杂问题也可能效率低下。例如,描述流体运动的 Navier-Stokes 方程的解可能需要超级计算机上数百万小时的 CPU 或 GPU 时间。另一个例子是泊松方程,它是工程学中最重要的偏微分方程之一,包括热传导、引力和电动力学。在高维环境中对其进行数值求解只能使用迭代方法,但迭代方法通常不能很好地随着维度而扩展和/或在处理边界条件或生成离散化网格时需要专业知识。神经网络 (NN) 非常适合解决此类复杂 PDE,并且已在工程和应用数学的各个领域用于复杂回归和图像到图像的转换任务。科学计算界早在 20 世纪 80 年代就已将其应用于 PDE 求解 [ 20 ],但近年来人们对它的兴趣呈爆炸式增长,部分原因是计算技术的显著进步以及此类网络公式的改进,例如在 [ 4 , 21 , 32 ] 中详细介绍和强调过。量子计算是一种变革性的新范式,它利用了微观物理尺度上的量子现象。虽然设计难度显著增加,但量子计算机可以运行专门的算法,这些算法的扩展性比传统计算机更好,有时甚至呈指数级增长。量子计算机由量子位组成,与传统数字计算机中的位不同,量子位基于量子物理的两个关键原理存储和处理数据:量子叠加和量子纠缠。它们通常会出现特定的误差,即量子误差,这些误差与其量子比特的量子性质有关。即使目前还没有足够复杂度的量子计算机,我们也显然需要了解我们希望在其上执行哪些任务,并设计方法来减轻量子误差的影响 [ 29 ]。量子神经网络形成了一类新的机器学习网络,利用叠加和纠缠等量子力学原理,有可能处理复杂问题和 / 或高维空间。量子神经网络的建议架构包括 [ 7 , 11 , 34 ],并表明它可能具有潜在的优势,包括更快的训练速度。对量子机器学习的初步理论研究表明,量子网络可以产生更易于训练的模型 [ 1 ]。这与使用机器学习解决 PDE 问题尤其相关,因为产生更有利损失景观的技术可以大大提高这些模型的性能 [13,18]。在目前的研究中,我们提出了一种制定量子神经网络的新方法,将一些经典的机器学习技术转化为量子设置,并在特定的 PDE(Heat、Poisson 和 HJB 方程)背景下开发复杂性分析。这提供了一个框架来展示量子神经网络作为 PDE 求解器的潜力和多功能性。本文结构如下:第 2 部分介绍 PINN 算法,并回顾经典和量子网络的基础知识。在第 3 部分中,我们介绍了一种新颖的