XiaoMi-AI文件搜索系统
World File Search SystemWAV2VEC
临床前和临床研究的全面综述
摘要 - 世界许多地区无法获得心脏病资源的访问促使基于心脏信号的自动诊断系统的发展。近年来，已经提出了广泛的监督学习模型，可以从心脏声音中最初诊断为心脏病。为了达到高精度，这种监督的学习模型通常需要大量标记的数据，这可能是昂贵的。在这方面，最近已经采用了自我监督的学习来减少对注释数据的过度依赖。wav2Vec 2.0是一种音频自我监督的学习模型，在各种与语音有关的任务中显示出令人鼓舞的结果。在本文中，我们对WAV2VEC 2.0进行了调整，以从心脏声音信号中进行杂音检测。为此，我们在Circor Digiscope Heart Sound数据集上进行了预训练和微调。结果证实了使用WAV2VEC 2.0模型进行心脏声音分类的可行性。该模型通过实现0.80的加权精度和0.70的UAR来显示出竞争性能，用于在保留测试集中进行杂音检测。为了研究微调数据大小对下游性能的影响，我们还对小规模的带注释数据进行了微调2VEC 2.0模型。结果证实，该模型对小型微调数据大小具有鲁棒性，因此可以减少我们对大型，带注释的心脏声音数据的依赖。索引术语 - 心脏声音，杂音检测，WAV2VEC 2.0，自我监督学习
do wav2vec 2.0在
言语和语言技术是确定与帕金森氏病（PD）相关的不同语音变化的有效工具，可以早期，更准确地诊断。自我监管的语音预审查的最新进展，尤其是使用WAV2VEC模型，表现出了比传统特征提取方法优越的性能。虽然已成功用于PD检测WAV2VEC 2.0，但需要与WAV2VEC 1.0进行严格的定量比较，以全面评估其在PD中不同语音模式的优势，局限性和适用性。这项研究对三个多语言数据集的WAV2VEC 1.0和WAV2VEC 2.0嵌入的系统比较，使用各种分类方法进行分类（健康对照； HC）和PD语音。此外，两个WAV2VEC版本都针对各种语言环境的传统基线特征进行了基准测试，包括自发的语音，非自发的语音和孤立的元音。采用了多准则的TOPSIS方法来对特征提取方法进行排名，这表明WAV2VEC 2.0在所有语音模式中都始终如一地表现出色，其第一个变压器层展示了上下文任务的最佳性能（阅读文本和独白）及其特征提取器在基于Vowel的分类中表现最佳。相比之下，WAV2VEC 1.0虽然通常超过WAV2VEC 2.0的表现，但在上下文任务中仍然提供了具有竞争性能的替代方案，突出了其对特定应用的潜力，例如联合学习。此比较分析进一步强调了每个WAV2VEC架构的优势，并为它们在PD检测中的最佳使用提供了信息。
Braintalker：使用WAV2VEC 2.0
摘要 - 从大脑中的神经活动中解码口语是一个快速的研究主题，因为它可以使在产生可听见的语音困难的人们中进行沟通。对于此任务，电皮质学（ECOG）是记录具有高时间分辨率和高空间精度的大脑活动的常见方法。但是，由于获得ECOG记录所需的风险外科手术程序，收集了相对较少的数据，并且该数量不足以训练基于神经网络的脑对语音（BTS）系统。为了解决这个问题，我们提出了Braintalker，这是一个新颖的BTS框架，它在极低的资源场景下从ECOG信号中产生可理解的口语演讲。我们使用预先训练的自我监督模型WAV2VEC 2.0采用转移学习方法。具体来说，我们训练一个编码器模块将ECOG信号映射到匹配相应口语语音的wav2Vec 2.0表示的潜在嵌入。然后，使用堆叠的卷积和基于变压器的层将这些嵌入转化为MEL光谱图，这些图形被送入神经声码器中以合成语音波形。实验结果表明，我们所提出的框架在主观和客观指标方面达到了出色的表现，包括生成的和地面真相光谱图之间的Pearson相关系数为0.9。我们共享公开可用的演示和代码1。
使用WAV2VEC 2.0功能
本研究探讨了使用机器学习来对语音的声学特征进行分类以检测学龄前儿童的听力损失的可行性。承认早期听力损失识别的批评发展影响以及与该年龄段的传统测试方法相关的挑战，我们提出了一种新颖的，可扩展的方法杠杆自动语音分析。使用有或没有听力损失的儿童的语音记录，我们使用WAV2VEC 2.0并比较功能集来捕获语音特征并比较LSTM，DNN和XGBoost分类器。我们的发现表明，这些模型可以准确区分听力损失的儿童的语音和正常听力的儿童的语音，最多可获得96.4％的精度。这项概念验证研究表明，使用语音进行早期听力损失检测的潜力，以及通往非侵入性，可扩展的筛查工具的途径，这些工具可能会显着有益于早期发展结果。索引术语：听力损失，语音分析，语音分类，WAV2VEC 2.0，计算听力学
使用 GPT 嵌入优化自然语言处理方法以自动检测阿尔茨海默病
摘要：开发非侵入性且经济有效的阿尔茨海默病 (AD) 检测方法对于早期预防和缓解该病至关重要。我们通过使用音频增强技术和新颖的转录方法来优化使用自然语言处理 (NLP) 对自发语音的 AD 检测。具体来说，我们利用 Boll 谱减法来提高音频保真度，并使用最先进的 AI 服务（基于本地的 Wav2Vec 和 Whisper，以及基于云的 IBM Cloud 和 Rev AI）创建转录，并评估它们与传统手动转录方法的性能。然后使用基于 GPT 的转录嵌入对支持向量机 (SVM) 分类器进行训练和测试。我们的研究结果表明，基于 AI 的转录大大优于传统的手动转录，其中 Wav2Vec（增强音频）在本地系统中实现了最佳准确度和 F-1 分数（两个指标均为 0.99），而 Rev AI（标准音频）在基于云的系统中表现最佳（两个指标均为 0.96）。此外，除了音频增强的微小影响外，这项研究还揭示了采访者讲话对模型性能的不利影响。根据我们的研究结果，当前的 AI 转录和 NLP 技术在利用现有数据准确检测 AD 方面非常有效，但由于缺乏训练数据，难以对可能的 AD 和轻度认知障碍 (MCI)（AD 的前驱阶段）进行分类，为未来实施自动 AD 检测系统奠定了基础。
在真实静态和动态的人类机器人互动场景
基于语音的解决方案的使用是在人类机器人互动（HRI）中进行交流的一种吸引人的替代方法。在这一领域的一个重要挑战是处理遥远的语音，这通常是嘈杂的，并且受回响和随时间变化的声通道的影响。重要的是研究有效的语音解决方案，尤其是在机器人和用户移动的动态环境中，改变说话者和麦克风之间的距离和方向。本文在语音情感识别（SER）的背景下解决了这个问题，这是了解消息的意图和用户的潜在心理状态的重要任务。我们提出了一个带有PR2机器人的新颖设置，该设置同时记录了目标语音和环境噪声。我们的研究不仅在这种动态的机器人用户设置中分析了距离语音的有害效果，以识别语音情绪识别，而且还提供了减轻其效果的措施。我们评估使用两个波束形成方案的使用在空间上使用延迟和-AM（D＆S）或最小差异无失真响应（MVDR）过滤语音信号。我们考虑在受控情况下记录的原始培训演讲，并考虑处理训练语言以模拟目标声学环境的情况。我们考虑机器人正在移动的情况（动态情况）而不是移动（静态情况）。为了进行语音情感识别，我们使用梯形网络策略实现的手工制作的功能探索两个最先进的分类器，并通过WAV2VEC 2.0功能表示实现的学习功能。MVDR导致高于基本D＆S方法高的信噪比。然而，两种方法都使用使用原始MSP播客训练语言训练的梯子网络提供了非常相似的平均一致性相关系数（CCC）的改进，而HRI子集则相当于116％。对于基于WAV2VEC 2.0的模型，只有D＆S才能改善。令人惊讶的是，静态和动态HRI测试子集导致了相似的平均一致性相关系数。最后，模拟训练数据集中的声学环境提供了最高的平均一致性相关系数得分，其HRI子集的分别比原始训练/测试说法与梯子网络和WAV2VEC 2.0相比仅低29％和22％。
关于预测人类语音误解的自我监督的学习语音表征的好处
深度神经网络（DNNS）最近已证明接受自我监督的学习（SSL）训练，可以产生类似于相同语音输入的大脑激活的表示。SSL表示能否有助于解释人类的语音感知错误？旨在阐明这个问题，我们研究了它们用于语音误解预测的用途。我们从WAV2VEC 2.0中提取表示形式，这是一种用于语音的SSL架构，并使用它们来计算特征作为模型，以预测语音感知误差在噪声信号中的语音感知错误。我们对3000多个语料库进行了实验，英语中有3000多个毫无意义的混乱。我们考虑基于多PLE SSL的功能，并将其与传统的声学基准和通过ASR的监督学习微调获得的传统声学基准和特征。我们的结果表明，从适当的层中提取SSL表示的支撑性，进一步表明了它们对人类语音感知的建模潜力。索引术语：语音感知，可理解性预测，次级清晰度，自我监督的学习，语音中的语音