将人工神经网络 (ANN) 与脑成像技术的输出进行比较,最近在 (计算机) 视觉和基于文本的语言模型方面取得了实质性进展。在这里,我们提出了一个框架来比较口语语言表征的生物和人工神经计算,并提出了对这一范式的几个新挑战。使用 Beguˇs 和 Zhou (2021b) 提出的技术,我们可以分析人工神经网络中间卷积层中任何声学属性的编码。这使我们能够以一种比大多数现有专注于相关性和监督模型的提案更易于解释的方式测试大脑和人工神经网络之间语音编码的相似性。我们将对原始语音进行训练的完全无监督深度生成模型(生成对抗网络架构)引入大脑和 ANN 比较范式,这使得可以测试人类语音的产生和感知原理。我们提出了一个框架,将测量人脑复杂听觉脑干反应 (cABR) 的电生理实验与深度卷积网络中的中间层并行。我们比较了 cABR 相对于脑干实验中的刺激的峰值延迟,以及中间卷积层相对于深度卷积网络中的输入/输出的峰值延迟。我们还检查并比较了之前的语言接触对 cABR 峰值延迟和语音属性的中间卷积层的影响。具体而言,英语和西班牙语使用者对语音属性 (即 VOT =10 毫秒) 的感知不同,有声 (例如 [ba]) 和无声 (例如 [pa])。至关重要的是,英语和西班牙语使用者的 cABR 峰值延迟到 VOT 语音属性是不同的,并且英语训练的计算模型和西班牙语训练的计算模型之间的中间卷积层的峰值延迟也不同。根据八个训练网络(包括复制实验)的结果,人类大脑和中间卷积网络在峰值延迟编码方面表现出了相当大的相似性。所提出的技术可用于比较人类大脑和中间卷积层之间对任何声学特性的编码。
I. 简介 编程涉及人力、硬件,并且由于需要通过键盘手动输入,因此在输入时很容易出错。由于编程对于学生和创新非常重要,而手动输入非常耗时,因此需要一个先进的系统来减少程序员的工作量并促进智能工作。我们将要开发的系统比手动输入代码更容易。 有一个名为 Dragonfly 的开源语音识别系统,有 15 个版本。一开始很少有人使用它,但在过去的两年里,它发生了巨大的变化,来自世界各地的大量请求和更新层出不穷,而这背后的原因是“自动化”一词。作为致力于自动化的研究人员和开发人员,他们发现它非常有用。因为它可以自由地创建我们自己的语法。通过使用它,我们正在创建一个完整的语音编码平台。语音编码需要两种软件:语音识别引擎和语音编码命令平台。在这个平台上,人们只需发出命令就可以由平台完成全部代码。为此,我们为其创建了语法,其中包含一组所需的指令。以前有一些程序是由人创建的,但不同之处在于它在运行评估环境中工作(即在命令提示符下)。此外,还开发了一些插件,但它们只是将用户的输入作为所需的语法。我们正在开发一种解决方案,它将从用户那里获取指令,但无需提供语法。